跑通Prompt模块

README.md

@@ -17,25 +17,39 @@ Check out the configuration reference at https://huggingface.co/docs/hub/spaces-
 
 ---
 
+## 调试说明
+
+在**app.py**文件下，运行main函数，待终端输出本地网址后双击打开，在弹出的窗口进行交互调试。
+
 ## 结构说明
 
 ### 开发模块
-- chat_poets： 与星火交互，得出回答的模块
-- gradio_ui： 使用gradio搭建demo的模块
-- txt2img： 文生图的模块
+🌟表示核心模块，🌛表示尚未使用或计划优化的模块
+- chat_poets 
+ - prompts.json：🌟所有的Prompts提示词
+ - get_path.py：🌟根据系统环境，获取json文件的绝对路径以供访问
+ - poet_search：实时检索古诗信息（古诗文网）
+- gradio_ui
+ - gr_chat：🌟使用gradio搭建demo的模块
+- gushiwen_vector_database：🌛向量知识库【已跑通验证，需要进一步处理】
+ - gushiwen.json 古诗文数据
+ - search_vectors.py：计算向量并获得相似文本
+ - local_vectors：向量化的数据文件
+ - embedding_model：下载的模型【未附上】
+- txt2img：🌛文生图的模块
 
 ### 其他
 - LLM： 与星火交互的功能封装
 - requirement.txt：依赖包列表
 - .gitattributes：hf配置
-- .env：环境变量文件，存储星火api访问信息
+- .env：环境变量文件，存储星火api访问信息⚠️注意不要上传具体值
 
 ---
 
 ## 本地依赖
 - Python-3.9
 
-### (1) Pip ✅
+### Pip ✅
 *注意新的依赖要同步更新requirement.txt文件*
 - websocket-client
 - langchain
@@ -43,8 +57,3 @@ Check out the configuration reference at https://huggingface.co/docs/hub/spaces-
 - bs4
 - python-dotenv
 
-### (2) Conda
-- websocket-client-0.58.0
-#### conda-forge
-- langchain-0.0.239
-- gradio-3.23.0

chat_poets/chat.py

@@ -16,23 +16,46 @@ class ChatPoet:
  # 记录所有Prompts的文件
  with open(get_prompts_path("prompts.json")) as f:
  prompts = json.load(f)
+ # 记录单轮有效对话的关键内容（是否有效、诗人、古诗）——{"exist": int, "author": str, "poem": str}
+ res_dict = dict()
 
  @classmethod
- def allow_chat(cls, user_message: str) -> bool:
+ def allow_chat(cls, user_message: str):
  """
- 对话开始时判断用户输入是否合规：提及诗人或古诗 todo 需要进一步优化提示词 以及 返回大模型检测到的信息(古诗，诗人),字符串
+ 对话开始时判断用户输入是否合规：提及诗人或古诗
+ :param user_message:用户的问题
  """
- prompt_allow = load_prompt("chat_poets/prompts/allow_chat.json")
- chain_allow = LLMChain(llm=cls.llm, prompt=prompt_allow)
- response = chain_allow.run(user_message)
- print(f"response: {response}")
+ prompt_allow = cls.prompts["allow_chat"].format(user_message=user_message)
+ print(f"prompt_allow:{prompt_allow}")
+ while True:
+ try:
+ res_json_str = cls.llm(prompt_allow)
+ print(f"allow_chat: {res_json_str}")
+ cls.res_dict = json.loads(res_json_str)
+ break
+ except:
+ continue
 
  while True:
  try:
- allow = int(response)
- return allow == 1
+ cls.res_dict["exist"] = int(cls.res_dict["exist"])
+ if cls.res_dict["author"] is None:
+ cls.res_dict["author"] = ""
+ if cls.res_dict["poem"] is None:
+ cls.res_dict["poem"] = ""
+ print(f"res_dict:{cls.res_dict}")
+ return
  except ValueError:
- response = chain_allow.run(user_message)
+ prompt_allow = cls.prompts["allow_chat"].format(user_message=user_message)
+ print(prompt_allow)
+ res_json_str = cls.llm(prompt_allow)
+ print(f"allow_chat: {res_json_str}")
+ cls.res_dict = json.loads(res_json_str)
+
+ @classmethod
+ def stop_chat(cls):
+ """结束本次对话，清空对话关键内容"""
+ cls.res_dict.clear()
 
  @classmethod
  def get_question_type(cls, user_message: str) -> str:
@@ -41,12 +64,10 @@ class ChatPoet:
  :param user_message:
  :return:
  """
-
  prompt_question_type = cls.prompts["get_question_type"].format(user_message=user_message)
- response = cls.llm(prompt_question_type)
- print(f"response: {response}")
+ question_type = cls.llm(prompt_question_type)
 
- return response
+ return question_type
 
  @classmethod
  def gen_response(cls, pattern: str, history: list[list]) -> str:
@@ -55,16 +76,23 @@ class ChatPoet:
  pattern = "adult" | "teen" | "child"，模式
  注：对话历史的最后一项是需要填充的内容，即history[-1] = [Question, ]；Question为用户刚提出的问题，尚未回答
  """
- question_type = cls.get_question_type(history[-1][0])
+ limit_list = ["诗词原文", "诗词白话文翻译", "诗词鉴赏", "词语解释", "写作背景", "作者简介"]
+ while True:
+ # 循环纠错，保证输出的问题类型在给定范围内
+ question_type = cls.get_question_type(history[-1][0])
+ if limit_list.count(question_type) > 0:
+ print(f"question_type:{question_type}")
+ break
+ else:
+ print(f"错误的question_type:{question_type}")
+
  if pattern == "adult":
- cls.chat_adult(question_type=question_type, history=history)
+ response = cls.chat_adult(question_type=question_type, history=history)
  else:
- cls.chat_teen_or_child(pattern=pattern, question_type=question_type, history=history)
-
- # elif pattern == "teen":
- # return cls.chat_teen(question_type, history)
- # elif pattern == "child":
- # return cls.chat_child(question_type, history)
+ response = cls.chat_teen_or_child(pattern=pattern, question_type=question_type, history=history)
+ print(f"response:{response}")
+ return response
+ # return "wow"
 
  @classmethod
  def get_str_history(cls, history: list[list]) -> str:
@@ -89,17 +117,17 @@ class ChatPoet:
  :param history: 对话记录，最后一项是[Question, ]，即答案待给出
  :return: 给出答案
  """
- if question_type == "origin":
+ if question_type == "诗词原文":
  return cls.get_str_response_origin(history)
- elif question_type == "vernacular":
+ elif question_type == "诗词白话文翻译":
  return cls.get_str_response_vernacular(history)
- elif question_type == "appreciate":
+ elif question_type == "诗词鉴赏":
  return cls.get_str_response_appreciate(history)
- elif question_type == "vocab":
+ elif question_type == "词语解释":
  return cls.get_str_response_vocab(history)
- elif question_type == "author":
+ elif question_type == "写作背景":
  return cls.get_str_response_author(history)
- elif question_type == "background":
+ elif question_type == "作者简介":
  return cls.get_str_response_background(history)
 
  @classmethod
@@ -108,7 +136,7 @@ class ChatPoet:
  青少年模式或儿童模式
  :param pattern: 交互模式 "teen" | "child"
  :param history: 对话记录，最后一项是[Question, ]，即答案待给出
- :param question_type: 问题类型
+ :param question_type: 
  :return: 给出答案
  """
  prompt_mode = cls.prompts["pattern"][pattern]
@@ -134,29 +162,43 @@ class ChatPoet:
  @classmethod
  def get_str_response_origin(cls, history: list[list]) -> str:
  """古诗原文"""
- str_prompt = cls.get_str_history(history=history) + cls.prompts["questions_type"]["origin"]
- str_response = cls.llm(str_prompt.format(author="作者", poem="古诗标题"))
+ print(f"res_dict:{cls.res_dict}")
+ print("----古诗原文----")
+ str_prompt = cls.get_str_history(history=history) + \
+ cls.prompts["questions_type"]["origin"].format(author=cls.res_dict["author"],
+ poem=cls.res_dict["poem"])
+ str_response = cls.llm(str_prompt)
  return str_response
 
  @classmethod
  def get_str_response_vernacular(cls, history: list[list]) -> str:
  """古诗白话文翻译"""
- str_prompt = cls.prompts["questions_type"]["vernacular"] + cls.get_str_response_origin(history=history)
- str_response = cls.llm(cls.get_str_history(history=history) + str_prompt.format(author="诗人", poem="古诗标题"))
+ print(" ----古诗白话文翻译 ----")
+ str_prompt = cls.prompts["questions_type"]["vernacular"].format(author=cls.res_dict["author"],
+ poem=cls.res_dict["poem"]) + \
+ cls.get_str_response_origin(history=history)
+ str_response = cls.llm(cls.get_str_history(history=history) + str_prompt)
  return str_response
 
  @classmethod
  def get_str_response_appreciate(cls, history: list[list]) -> str:
  """古诗鉴赏"""
- str_prompt = cls.prompts["questions_type"]["appreciate"] + cls.get_str_response_origin(history=history)
- str_response = cls.llm(cls.get_str_history(history=history) + str_prompt.format(author="诗人", poem="古诗标题"))
+ print(" ----古诗鉴赏 ----")
+ str_prompt = cls.prompts["questions_type"]["appreciate"].format(author=cls.res_dict["author"],
+ poem=cls.res_dict["poem"]) + \
+ cls.get_str_response_origin(history=history)
+ print(f"该问题的最终Prompt（除历史记录）：{str_prompt}")
+
+ str_response = cls.llm(cls.get_str_history(history=history) + str_prompt)
  return str_response
 
  @classmethod
  def get_str_response_vocab(cls, history: list[list]) -> str:
- str_prompt = cls.prompts["questions_type"]["vocab"].format(author="作者",
- poem="古诗标题",
- word="需要解释的词语",
+ """词语解释"""
+ print(" ----词语解释 ----")
+ str_prompt = cls.prompts["questions_type"]["vocab"].format(author=cls.res_dict["author"],
+ poem=cls.res_dict["poem"],
+ word="需要解释的词语", # todo 这是个啥
  response_origin=cls.get_str_response_origin(
  history=history))
  str_response = cls.llm(cls.get_str_history(history=history) + str_prompt)
@@ -164,19 +206,23 @@ class ChatPoet:
 
  @classmethod
  def get_str_response_author(cls, history: list[list]) -> str:
- str_prompt = cls.prompts["questions_type"]["author"].format(author="诗人")
+ """作者简介"""
+ print(" ----作者简介 ----")
+ str_prompt = cls.prompts["questions_type"]["author"].format(author=cls.res_dict["poem"])
  str_response = cls.llm(cls.get_str_history(history=history) + str_prompt)
  return str_response
 
  @classmethod
  def get_str_response_background(cls, history: list[list]) -> str:
- str_prompt = cls.prompts["questions_type"]["background"].format(author="诗人",
- poem="古诗",
+ """写作背景"""
+ print(" ----写作背景 ----")
+ str_prompt = cls.prompts["questions_type"]["background"].format(author=cls.res_dict["author"],
+ poem=cls.res_dict["poem"],
  response_origin=cls.get_str_response_origin(
  history=history))
  str_response = cls.llm(cls.get_str_history(history=history) + str_prompt)
  return str_response
 
 
-if __name__ == '__main__':
- ChatPoet.get_question_type("静夜思这首诗的内容是什么？")
+# if __name__ == '__main__':
+ # ChatPoet.allow_chat("你知道《静夜思》这首诗吗？")

chat_poets/prompts.json

@@ -1,7 +1,7 @@
 {
- "allow_chat": "请分析问题中是否提到了诗人或古诗。如果是则输出1，否则输出0；不输出除结果外的其他内容。问题如下->{user_message}",
+ "allow_chat": "[任务]判断给出的问题中是否提到了诗人或古诗。[要求]输出JSON格式的字符串，其中包含三个键：“exist”、“author”、“poem”；当问题没有提到任何诗人或古诗时，“exist”的取值为0，“author”和“poem”的值都为\" \"，千万注意不是None也不是null，而是一个空格字符 ；当问题提到了诗人或古诗，“exist”的值为1，并将识别到的诗人姓名、古诗标题填入“author”和“poem”中。不输出除结果外的任何内容，不要填入问题中没有的内容。问题如下->Q:{user_message}",
 
- "get_question_type": "你是一个古诗老师，需要对问题进行分类。问题的类型有：1.诗词原文(origin) 2.诗词白话文翻译(vernacular) 3.诗词鉴赏(appreciate) 4.词语解释(vocab) 5.写作背景(background) 6.作者简介（author）。请分析问题属于哪一类型，挑选出来后返回对应的类型英文。注意只输出给出的类型英文，不要自己翻译，不要输出其他内容。问题如下->{user_message}",
+ "get_question_type": "你是一个古诗老师，需要对问题进行分类。问题的类型有：1.诗词原文 2.诗词白话文翻译 3.诗词鉴赏 4.词语解释 5.写作背景 6.作者简介。请分析问题属于哪一类型，挑选出来后返回对应的类型，如“诗词原文”，不要自己翻译，不要输出类型的中文，不要输出其他内容。问题如下->{user_message}",
 
  "history": "{history}是你和用户之前的对话记录，Q：代表了用户的输入，A：代表了你的回复，根据历史对话记录和下面的要求继续回答用户。",
 

gradio_ui/gr_chat.py

@@ -1,6 +1,7 @@
 """
 助手交互所需函数
 """
+import re
 import time
 import json
 import gradio as gr
@@ -54,6 +55,8 @@ def newchat(chat_history: list[list]):
  print("#########")
  for chat_list in chat_history:
  print(f"##用户：{chat_list[0]} ## Bot：{chat_list[1]}")
+
+ ChatPoet.stop_chat()
  # todo 将已有聊天记录存入历史记录
 
  # 刷新聊天记录
@@ -64,7 +67,11 @@ def chat_user(user_message: str, history: list[list], action: bool):
  """
  单次对话中，首先调用的函数
  """
- if action is True or ChatPoet.allow_chat(user_message):
+ print("调用chat_user")
+ ChatPoet.allow_chat(user_message=history[-1][0])
+ if (action is True) or (ChatPoet.res_dict != {}) and (ChatPoet.res_dict["exist"]):
+ print(f"action is True: {action is True}")
+ print(f"ChatPoet.res_dict: {ChatPoet.res_dict == {}}")
  allowed = True
  else:
  allowed = False
@@ -78,11 +85,13 @@ def chat_respond(history: list[list], pattern: str, action: bool):
  """
  单次对话中，在调用chat_user后调用，实现流式输出
  """
+ print("调用chat_respond")
  if action is False:
  bot_message = "您似乎没有提到诗人或古诗，请再试试~"
  else:
  # 调用功能函数，获取助手的回答
- bot_message = ChatPoet.gen_response(mode=pattern, history=history)
+ pattern_str = re.sub(r'\n', "", re.sub(r'<[^>]+>', "", pattern))
+ bot_message = ChatPoet.gen_response(pattern=pattern_str, history=history)
 
  history[-1][1] = "" # 下标-1表示最后一个
  for char in bot_message: