Spaces:
Running
Running
Update app.py
Browse files
app.py
CHANGED
@@ -2,7 +2,16 @@ import gradio as gr
|
|
2 |
from huggingface_hub import InferenceClient
|
3 |
|
4 |
# 使用可能なモデルのリスト
|
5 |
-
models = ["Sakalti/Saba1.5-Pro", "Sakalti/Saba2-Preview", "Sakalti/Neptuno-Alpha", "Sakalti/light-3B", "Sakalti/Neptuno-3B", "Sakalti/tara-3.8B", "Sakalti/Tara-3.8B-v1.1"]
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
6 |
|
7 |
def respond(
|
8 |
message,
|
@@ -44,23 +53,39 @@ def respond(
|
|
44 |
return response
|
45 |
|
46 |
# インターフェース
|
47 |
-
|
48 |
-
|
49 |
-
|
50 |
-
|
51 |
-
|
52 |
-
|
53 |
-
|
54 |
-
|
55 |
-
|
56 |
-
|
57 |
-
|
58 |
-
|
59 |
-
|
60 |
-
|
61 |
-
|
62 |
-
|
63 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
64 |
|
65 |
if __name__ == "__main__":
|
66 |
demo.launch(share=True)
|
|
|
2 |
from huggingface_hub import InferenceClient
|
3 |
|
4 |
# 使用可能なモデルのリスト
|
5 |
+
models = ["Sakalti/Saba1.5-Pro", "Sakalti/Saba2-Preview", "Sakalti/Neptuno-Alpha", "Sakalti/light-3B", "Sakalti/Neptuno-3B", "Sakalti/tara-3.8B", "Sakalti/Tara-3.8B-v1.1", "Qwen/QwQ-32B-Preview"]
|
6 |
+
|
7 |
+
# システムメッセージのテンプレート
|
8 |
+
system_message_templates = {
|
9 |
+
"架空のキャラ ナナ": "あなたの名前はナナ。優しい架空のキャラクターのaiとして。",
|
10 |
+
"架空のキャラ アオイ": "あなたの名前はアオイ。常識的な考えを持っている。語尾は「だぜ」",
|
11 |
+
}
|
12 |
+
|
13 |
+
def update_system_message(selected_template):
|
14 |
+
return system_message_templates.get(selected_template, "あなたはフレンドリーなチャットボットです。")
|
15 |
|
16 |
def respond(
|
17 |
message,
|
|
|
53 |
return response
|
54 |
|
55 |
# インターフェース
|
56 |
+
with gr.Blocks() as demo:
|
57 |
+
gr.Markdown("# チャットボット")
|
58 |
+
|
59 |
+
system_message_template_dropdown = gr.Dropdown(
|
60 |
+
choices=list(system_message_templates.keys()),
|
61 |
+
value="架空のキャラ ナナ",
|
62 |
+
label="システムメッセージテンプレート"
|
63 |
+
)
|
64 |
+
|
65 |
+
system_message_textbox = gr.Textbox(
|
66 |
+
value=system_message_templates["架空のキャラ ナナ"],
|
67 |
+
label="システムメッセージ"
|
68 |
+
)
|
69 |
+
|
70 |
+
system_message_template_dropdown.change(update_system_message, inputs=system_message_template_dropdown, outputs=system_message_textbox)
|
71 |
+
|
72 |
+
chat_interface = gr.ChatInterface(
|
73 |
+
respond,
|
74 |
+
additional_inputs=[
|
75 |
+
system_message_textbox,
|
76 |
+
gr.Slider(minimum=1, maximum=2048, value=768, step=1, label="新規トークン最大"),
|
77 |
+
gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="温度"),
|
78 |
+
gr.Slider(
|
79 |
+
minimum=0.1,
|
80 |
+
maximum=1.0,
|
81 |
+
value=0.95,
|
82 |
+
step=0.05,
|
83 |
+
label="Top-p (核 sampling)",
|
84 |
+
),
|
85 |
+
gr.Dropdown(choices=models, value=models[0], label="モデル"),
|
86 |
+
],
|
87 |
+
concurrency_limit=30 # 例: 同時に30つのリクエストを処理
|
88 |
+
)
|
89 |
|
90 |
if __name__ == "__main__":
|
91 |
demo.launch(share=True)
|