Update app.py

app.py

@@ -2,6 +2,7 @@ import gradio as gr
 from huggingface_hub import InferenceClient
 import os
 from threading import Event
+import re
 
 hf_token = os.getenv("HF_TOKEN")
 stop_event = Event()
@@ -18,6 +19,20 @@ models = {
 def get_client(model):
     return InferenceClient(model=model, token=hf_token)
 
+# 응답 필터링 함수
+def filter_response(response):
+    # 질문 형태 제거
+    response = re.sub(r'\?|질문|물어보|궁금', '', response)
+    
+    # 추가 대화나 확장을 제안하는 문구 제거
+    response = re.sub(r'더 자세히 알고 싶으시면|추가로 궁금한 점이 있으시면|다른 질문이 있으신가요?', '', response)
+    
+    # 불필요한 공백 제거 및 문장 끝 정리
+    response = re.sub(r'\s+', ' ', response).strip()
+    response = re.sub(r'[.!]\s*$', '', response) + '.'
+    
+    return response
+
 # 응답 생성 함수 (스트리밍 방식, 자문자답 방지)
 def respond(prompt, system_message, max_tokens, temperature, top_p, selected_model):
     stop_event.clear()
@@ -25,12 +40,12 @@ def respond(prompt, system_message, max_tokens, temperature, top_p, selected_mod
     
     # 프롬프트 설정
     messages = [
-        {"role": "system", "content": system_message + "\n주어진 입력에 대해서만 정확히 답변하세요. 추가 질문을 생성하거나 입력 내용을 확장하지 마세요."},
-        {"role": "user", "content": prompt}
+        {"role": "system", "content": system_message},
+        {"role": "user", "content": prompt + "\n절대로 추가 질문을 하거나 대화를 확장하지 마세요. 오직 위의 내용에 대해서만 간결하게 답변하세요."}
     ]
     
     try:
-        response = ""
+        full_response = ""
         
         # 모델에서 응답을 스트리밍
         for chunk in client.text_generation(
@@ -39,15 +54,14 @@ def respond(prompt, system_message, max_tokens, temperature, top_p, selected_mod
             temperature=temperature,
             top_p=top_p,
             stream=True,
-            stop_sequences=["Human:", "User:"]  # 자문자답 방지를 위한 정지 시퀀스 추가
+            stop_sequences=["Human:", "User:", "System:", "Assistant:", "AI:"]
         ):
             if stop_event.is_set():
                 break
             if chunk:
-                response += chunk
-                if "?" in chunk:  # 질문 마크가 포함된 경우 생성 중단
-                    break
-                yield [(prompt, response.strip())]  # 실시간으로 부분적인 응답 반환
+                full_response += chunk
+                filtered_response = filter_response(full_response)
+                yield [(prompt, filtered_response.strip())]
     
     except Exception as e:
         yield [(prompt, f"오류 발생: {str(e)}")]
@@ -64,7 +78,7 @@ with gr.Blocks() as demo:
     **주의사항:**
     - '전송' 버튼을 클릭하거나 입력 필드에서 Shift+Enter를 눌러 메시지를 전송할 수 있습니다.
     - Enter 키는 줄바꿈으로 작동합니다.
-    - 입력한 내용에 대해서만 응답하도록 설정되어 있으며, 모델이 추가 질문을 만들거나 입력을 확장하지 않도록 설정됩니다.
+    - 입력한 내용에 대해서만 응답하도록 설정되어 있으며, 모델이 추가 질문을 만들거나 입력을 확장하지 않습니다.
     """)
     
     with gr.Row():
@@ -76,7 +90,7 @@ with gr.Blocks() as demo:
                 top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.90, step=0.05, label="Top-p (핵 샘플링)")
             
             system_message = gr.Textbox(
-                value="당신은 정확하고 간결한 응답을 제공하는 AI 어시스턴트입니다. 사용자의 입력에 대해서만 답변하고, 추가 질문이나 확장된 대화를 생성하지 마세요.",
+                value="당신은 정확하고 간결한 응답만을 제공하는 AI 어시스턴트입니다. 어떤 경우에도 추가 질문을 하거나 대화를 확장하지 마세요. 오직 주어진 입력에 대해서만 답변하세요.",
                 label="시스템 메시지",
                 lines=5
             )