test langchain-chatglm

.gitignore

@@ -0,0 +1,3 @@
+.idea
+cache
+docs/zh_wikipedia

README.md

@@ -1,13 +1,116 @@
 ---
-title: Chatglm Fitness RLHF
-emoji: 🐠
+license: openrail
+title: 'Chinese-LangChain '
+sdk: gradio
+emoji: 🚀
 colorFrom: yellow
 colorTo: yellow
-sdk: gradio
-sdk_version: 3.38.0
+pinned: true
 app_file: app.py
-pinned: false
-license: apache-2.0
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# Chinese-LangChain
+
+> Chinese-LangChain：中文langchain项目，基于ChatGLM-6b+langchain实现本地化知识库检索与智能答案生成
+
+https://github.com/yanqiangmiffy/Chinese-LangChain
+
+俗称：小必应，Q.Talk，强聊，QiangTalk
+
+## 🔥 效果演示
+
+![](https://github.com/yanqiangmiffy/Chinese-LangChain/blob/master/images/web_demos/v1.png)
+![](https://github.com/yanqiangmiffy/Chinese-LangChain/blob/master/images/web_demos/v3.png)
+
+## 🚋 使用教程
+
+- 选择知识库询问相关领域的问题
+
+## 🏗️ 部署教程
+
+### 运行配置
+
+- 显存：12g，实际运行9g够了
+- 运行内存：32g
+
+### 运行环境
+
+```text
+langchain
+gradio
+transformers
+sentence_transformers
+faiss-cpu
+unstructured
+duckduckgo_search
+mdtex2html
+chardet
+cchardet
+```
+
+### 启动Gradio
+
+```shell
+python main.py
+```
+
+## 🚀 特性
+
+- 🔭 2023/04/20 支持模型问答与检索问答模式切换
+- 💻 2023/04/20 感谢HF官方提供免费算力，添加HuggingFace
+  Spaces在线体验[[🤗 DEMO](https://huggingface.co/spaces/ChallengeHub/Chinese-LangChain)
+- 🧫 2023/04/19 发布45万Wikipedia的文本预处理语料以及FAISS索引向量
+- 🐯 2023/04/19 引入ChuanhuChatGPT皮肤
+- 📱 2023/04/19 增加web search功能，需要确保网络畅通！(感谢[@wanghao07456](https://github.com/wanghao07456),提供的idea)
+- 📚 2023/04/18 webui增加知识库选择功能
+- 🚀 2023/04/18 修复推理预测超时5s报错问题
+- 🎉 2023/04/17 支持多种文档上传与内容解析：pdf、docx，ppt等
+- 🎉 2023/04/17 支持知识增量更新
+
+[//]: # (- 支持检索结果与LLM生成结果对比)
+
+## 🧰 知识库
+
+### 构建知识库
+
+- Wikipedia-zh
+
+> 详情见：corpus/zh_wikipedia/README.md
+
+### 知识库向量索引
+
+| 知识库数据                                                                         | FAISS向量                                                              |
+|-------------------------------------------------------------------------------|----------------------------------------------------------------------|
+| 中文维基百科截止4月份数据，45万                                                             | 链接：https://pan.baidu.com/s/1VQeA_dq92fxKOtLL3u3Zpg?pwd=l3pn 提取码：l3pn |
+| 截止去年九月的130w条中文维基百科处理结果和对应faiss向量文件 @[yubuyuabc](https://github.com/yubuyuabc) | 链接：https://pan.baidu.com/s/1Yls_Qtg15W1gneNuFP9O_w?pwd=exij 提取码：exij |
+| 💹 [大规模金融研报知识图谱](http://openkg.cn/dataset/fr2kg)                              | 链接：https://pan.baidu.com/s/1FcIH5Fi3EfpS346DnDu51Q?pwd=ujjv 提取码：ujjv |
+
+## 🔨 TODO
+
+* [x] 支持上下文
+* [x] 支持知识增量更新
+* [x] 支持加载不同知识库
+* [x] 支持检索结果与LLM生成结果对比
+* [ ] 支持检索生成结果与原始LLM生成结果对比
+* [ ] 支持模型问答与检索问答
+* [ ] 检索结果过滤与排序
+* [x] 互联网检索结果接入
+* [ ] 模型初始化有问题
+* [ ] 增加非LangChain策略
+* [ ] 显示当前对话策略
+* [ ] 构建一个垂直业务场景知识库，非通用性
+
+## 交流
+
+欢迎多提建议、Bad cases，目前尚不完善，欢迎进群及时交流，也欢迎大家多提PR</br>
+
+<figure class="third">
+    <img src="https://raw.githubusercontent.com/yanqiangmiffy/Chinese-LangChain/master/images/ch.jpg" width="180px"><img src="https://raw.githubusercontent.com/yanqiangmiffy/Chinese-LangChain/master/images/chatgroup.jpg" width="180px" height="270px"><img src="https://raw.githubusercontent.com/yanqiangmiffy/Chinese-LangChain/master/images/personal.jpg" width="180px">
+</figure>
+
+## ❤️引用
+
+- webui参考：https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui
+- knowledge问答参考：https://github.com/imClumsyPanda/langchain-ChatGLM
+- LLM模型：https://github.com/THUDM/ChatGLM-6B
+- CSS：https://huggingface.co/spaces/JohnSmith9982/ChuanhuChatGPT

app.py

@@ -1,311 +1,221 @@
-"""Credit to https://github.com/THUDM/ChatGLM2-6B/blob/main/web_demo.py while mistakes are mine."""
-# pylint: disable=broad-exception-caught, redefined-outer-name, missing-function-docstring, missing-module-docstring, too-many-arguments, line-too-long, invalid-name, redefined-builtin, redefined-argument-from-local
-# import gradio as gr
+import os
+import shutil
 
-# model_name = "models/THUDM/chatglm2-6b-int4"
-# gr.load(model_name).lauch()
+from app_modules.presets import *
+from clc.langchain_application import LangChainApplication
 
-# %%writefile demo-4bit.py
 
-import os
-import time
-from textwrap import dedent
+# 修改成自己的配置！！！
+class LangChainCFG:
+    llm_model_name = 'fb700/chatglm-fitness-RLHF'  # 本地模型文件 or huggingface远程仓库
+    embedding_model_name = 'moka-ai/m3e-large'  # 检索模型文件 or huggingface远程仓库
+    vector_store_path = './cache'
+    docs_path = './docs'
+    kg_vector_stores = {
+        '中文维基百科': './cache/zh_wikipedia',
+        '大规模金融研报': './cache/financial_research_reports',
+        '初始化': './cache',
+    }  # 可以替换成自己的知识库，如果没有需要设置为None
+    # kg_vector_stores=None
+    patterns = ['模型问答', '知识库问答']  #
 
-import gradio as gr
-import mdtex2html
-import torch
-from loguru import logger
-from transformers import AutoModel, AutoTokenizer
 
-# fix timezone in Linux
-os.environ["TZ"] = "Asia/Shanghai"
-try:
-    time.tzset()  # type: ignore # pylint: disable=no-member
-except Exception:
-    # Windows
-    logger.warning("Windows, cant run time.tzset()")
+config = LangChainCFG()
+application = LangChainApplication(config)
+application.source_service.init_source_vector()
 
 
- 
-model_name = "fb700/chatglm-fitness-RLHF" 
+def get_file_list():
+    if not os.path.exists("docs"):
+        return []
+    return [f for f in os.listdir("docs")]
 
-RETRY_FLAG = False
 
-tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
-#model = AutoModel.from_pretrained(model_name, trust_remote_code=True).quantize(4).half().cuda()
-model = AutoModel.from_pretrained(model_name, trust_remote_code=True).half().cuda()
-model = model.eval()
+file_list = get_file_list()
 
-_ = """Override Chatbot.postprocess"""
 
+def upload_file(file):
+    if not os.path.exists("docs"):
+        os.mkdir("docs")
+    filename = os.path.basename(file.name)
+    shutil.move(file.name, "docs/" + filename)
+    # file_list首位插入新上传的文件
+    file_list.insert(0, filename)
+    application.source_service.add_document("docs/" + filename)
+    return gr.Dropdown.update(choices=file_list, value=filename)
 
-def postprocess(self, y):
-    if y is None:
-        return []
-    for i, (message, response) in enumerate(y):
-        y[i] = (
-            None if message is None else mdtex2html.convert((message)),
-            None if response is None else mdtex2html.convert(response),
-        )
-    return y
-
-
-gr.Chatbot.postprocess = postprocess
-
-
-def parse_text(text):
-    lines = text.split("\n")
-    lines = [line for line in lines if line != ""]
-    count = 0
-    for i, line in enumerate(lines):
-        if "```" in line:
-            count += 1
-            items = line.split("`")
-            if count % 2 == 1:
-                lines[i] = f'<pre><code class="language-{items[-1]}">'
-            else:
-                lines[i] = "<br></code></pre>"
-        else:
-            if i > 0:
-                if count % 2 == 1:
-                    line = line.replace("`", r"\`")
-                    line = line.replace("<", "&lt;")
-                    line = line.replace(">", "&gt;")
-                    line = line.replace(" ", "&nbsp;")
-                    line = line.replace("*", "&ast;")
-                    line = line.replace("_", "&lowbar;")
-                    line = line.replace("-", "&#45;")
-                    line = line.replace(".", "&#46;")
-                    line = line.replace("!", "&#33;")
-                    line = line.replace("(", "&#40;")
-                    line = line.replace(")", "&#41;")
-                    line = line.replace("$", "&#36;")
-                lines[i] = "<br>" + line
-    text = "".join(lines)
-    return text
-
-
-def predict(
-    RETRY_FLAG, input, chatbot, max_length, top_p, temperature, history, past_key_values
-):
-    try:
-        chatbot.append((parse_text(input), ""))
-    except Exception as exc:
-        logger.error(exc)
-        logger.debug(f"{chatbot=}")
-        _ = """
-        if chatbot:
-            chatbot[-1] = (parse_text(input), str(exc))
-            yield chatbot, history, past_key_values
-        # """
-        yield chatbot, history, past_key_values
-    """
-    for response, history, past_key_values in model.stream_chat(
-        tokenizer,
-        input,
-        history,
-        past_key_values=past_key_values,
-        return_past_key_values=True,
-        max_length=max_length,
-        top_p=top_p,
-        temperature=temperature,
-    ):
-    """
-    for response, history in model.stream_chat(tokenizer, input, history, max_length=max_length, top_p=top_p,
-                                               temperature=temperature):
-        chatbot[-1] = (parse_text(input), parse_text(response))
-
-        yield chatbot, history, past_key_values
-
-
-def trans_api(input, max_length=40960, top_p=0.7, temperature=0.95):
-    if max_length < 10:
-        max_length = 40960
-    if top_p < 0.1 or top_p > 1:
-        top_p = 0.7
-    if temperature <= 0 or temperature > 1:
-        temperature = 0.01
+
+def set_knowledge(kg_name, history):
     try:
-        res, _ = model.chat(
-            tokenizer,
-            input,
-            history=[],
-            past_key_values=None,
-            max_length=max_length,
-            top_p=top_p,
-            temperature=temperature,
+        application.source_service.load_vector_store(config.kg_vector_stores[kg_name])
+        msg_status = f'{kg_name}知识库已成功加载'
+    except Exception as e:
+        print(e)
+        msg_status = f'{kg_name}知识库未成功加载'
+    return history + [[None, msg_status]]
+
+
+def clear_session():
+    return '', None
+
+
+def predict(input,
+            large_language_model,
+            embedding_model,
+            top_k,
+            use_web,
+            use_pattern,
+            history=None):
+    # print(large_language_model, embedding_model)
+    print(input)
+    if history == None:
+        history = []
+
+    if use_web == '使用':
+        web_content = application.source_service.search_web(query=input)
+    else:
+        web_content = ''
+    search_text = ''
+    if use_pattern == '模型问答':
+        result = application.get_llm_answer(query=input, web_content=web_content)
+        history.append((input, result))
+        search_text += web_content
+        return '', history, history, search_text
+
+    else:
+        resp = application.get_knowledge_based_answer(
+            query=input,
+            history_len=1,
+            temperature=0.1,
+            top_p=0.9,
+            top_k=top_k,
+            web_content=web_content,
+            chat_history=history
         )
-        # logger.debug(f"{res=} \n{_=}")
-    except Exception as exc:
-        logger.error(f"{exc=}")
-        res = str(exc)
-
-    return res
-
-
-def reset_user_input():
-    return gr.update(value="")
-
-
-def reset_state():
-    return [], [], None
-
-
-# Delete last turn
-def delete_last_turn(chat, history):
-    if chat and history:
-        chat.pop(-1)
-        history.pop(-1)
-    return chat, history
-
-
-# Regenerate response
-def retry_last_answer(
-    user_input, chatbot, max_length, top_p, temperature, history, past_key_values
-):
-    if chatbot and history:
-        # Removing the previous conversation from chat
-        chatbot.pop(-1)
-        # Setting up a flag to capture a retry
-        RETRY_FLAG = True
-        # Getting last message from user
-        user_input = history[-1][0]
-        # Removing bot response from the history
-        history.pop(-1)
-
-    yield from predict(
-        RETRY_FLAG,  # type: ignore
-        user_input,
-        chatbot,
-        max_length,
-        top_p,
-        temperature,
-        history,
-        past_key_values,
-    )
+        history.append((input, resp['result']))
+        for idx, source in enumerate(resp['source_documents'][:4]):
+            sep = f'----------【搜索结果{idx + 1}：】---------------\n'
+            search_text += f'{sep}\n{source.page_content}\n\n'
+        print(search_text)
+        search_text += "----------【网络检索内容】-----------\n"
+        search_text += web_content
+        return '', history, history, search_text
+
+
+with open("assets/custom.css", "r", encoding="utf-8") as f:
+    customCSS = f.read()
+with gr.Blocks(css=customCSS, theme=small_and_beautiful_theme) as demo:
+    gr.Markdown("""<h1><center>Chinese-LangChain by 帛凡 Fitness AI</center></h1>
+        <center><font size=3>
+        </center></font>
+        """)
+    state = gr.State()
 
-
-with gr.Blocks(title="ChatGLM2-6B-int4", theme=gr.themes.Soft(text_size="sm")) as demo:
-    # gr.HTML("""<h1 align="center">ChatGLM2-6B-int4</h1>""")
-    gr.HTML(
-        """<center><a href="https://huggingface.co/spaces/mikeee/chatglm2-6b-4bit?duplicate=true"><img src="https://bit.ly/3gLdBN6" alt="Duplicate Space"></a>It's beyond Fitness,模型由[帛凡]基于ChatGLM-6b进行微调后，在健康（全科）、心理等领域达至少60分的专业水准，而且中文总结能力超越了GPT3.5各版本。</center>"""
-        """<center>特别声明：本应用仅为模型能力演示，无任何商业行为，部署资源为Huggingface官方免费提供，任何通过此项目产生的知识仅用于学术参考，作者和网站均不承担任何责任。</center>"""
-        """<h1 align="center">帛凡 Fitness AI 演示</h1>"""
-        """<center>T4 is just a machine wiht 16G VRAM ，so OOM is easy to occur ，If you meet  any  error，Please email me 。  👉 [email protected]</center>"""
-    )
-
-    with gr.Accordion("🎈 Info", open=False):
-        _ = f"""
-            ## {model_name}
-
-            ChatGLM-6B 是开源中英双语对话模型，本次训练基于ChatGLM-6B 的第一代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上开展训练。
-                       
-            本项目经过多位网友实测，中文总结能力超越了GPT3.5各版本，健康咨询水平优于其它同量级模型，且经优化目前可以支持无限context，远大于4k、8K、16K......，可能是任何个人和中小企业首选模型。
-            
-            *首先，用40万条高质量数据进行强化训练，以提高模型的基础能力；
-            
-            *第二，使用30万条人类反馈数据，构建一个表达方式规范优雅的语言模式（RM模型）；
-            
-            *第三，在保留SFT阶段三分之一训练数据的同时，增加了30万条fitness数据，叠加RM模型，对ChatGLM-6B进行强化训练。
-            
-            通过训练我们对模型有了更深刻的认知，LLM在一直在进化，好的方法和数据可以挖掘出模型的更大潜能。
-            训练中特别强化了中英文学术论文的翻译和总结，可以成为普通用户和科研人员的得力助手。 
-            
-            免责声明：本应用仅为模型能力演示，无任何商业行为，部署资源为huggingface官方免费提供，任何通过此项目产生的知识仅用于学术参考，作者和网站均不承担任何责任   。      
-            
-            The T4 GPU is sponsored by a community GPU grant from Huggingface. Thanks a lot!
-            
-            [模型下载地址](https://huggingface.co/fb700/chatglm-fitness-RLHF)             
-
-
-            """
-        gr.Markdown(dedent(_))
-    chatbot = gr.Chatbot()
     with gr.Row():
-        with gr.Column(scale=4):
-            with gr.Column(scale=12):
-                user_input = gr.Textbox(
-                    show_label=False,
-                    placeholder="Input...",
-                ).style(container=False)
-                RETRY_FLAG = gr.Checkbox(value=False, visible=False)
-            with gr.Column(min_width=32, scale=1):
-                with gr.Row():
-                    submitBtn = gr.Button("Submit", variant="primary")
-                    deleteBtn = gr.Button("删除最后一条对话", variant="secondary")
-                    retryBtn = gr.Button("重新生成Regenerate", variant="secondary")
         with gr.Column(scale=1):
-            emptyBtn = gr.Button("Clear History")
-            max_length = gr.Slider(
-                0,
-                32768,
-                value=8192,
-                step=1.0,
-                label="Maximum length",
-                interactive=True,
-            )
-            top_p = gr.Slider(
-                0, 1, value=0.7, step=0.01, label="Top P", interactive=True
-            )
-            temperature = gr.Slider(
-                0.01, 1, value=0.95, step=0.01, label="Temperature", interactive=True
-            )
-
-    history = gr.State([])
-    past_key_values = gr.State(None)
-
-    user_input.submit(
-        predict,
-        [
-            RETRY_FLAG,
-            user_input,
-            chatbot,
-            max_length,
-            top_p,
-            temperature,
-            history,
-            past_key_values,
-        ],
-        [chatbot, history, past_key_values],
-        show_progress="full",
-    )
-    submitBtn.click(
-        predict,
-        [
-            RETRY_FLAG,
-            user_input,
-            chatbot,
-            max_length,
-            top_p,
-            temperature,
-            history,
-            past_key_values,
-        ],
-        [chatbot, history, past_key_values],
-        show_progress="full",
-        api_name="predict",
-    )
-    submitBtn.click(reset_user_input, [], [user_input])
+            embedding_model = gr.Dropdown([
+                "moka-ai/m3e-large"
+            ],
+                label="Embedding model",
+                value="moka-ai/m3e-large")
 
-    emptyBtn.click(
-        reset_state, outputs=[chatbot, history, past_key_values], show_progress="full"
-    )
+            large_language_model = gr.Dropdown(
+                [
+                    "帛凡 Fitness AI",
+                ],
+                label="large language model",
+                value="帛凡 Fitness AI")
+
+            top_k = gr.Slider(1,
+                              20,
+                              value=4,
+                              step=1,
+                              label="检索top-k文档",
+                              interactive=True)
+
+            use_web = gr.Radio(["使用", "不使用"], label="web search",
+                               info="是否使用网络搜索，使用时确保网络通常",
+                               value="不使用"
+                               )
+            use_pattern = gr.Radio(
+                [
+                    '模型问答',
+                    '知识库问答',
+                ],
+                label="模式",
+                value='模型问答',
+                interactive=True)
 
-    retryBtn.click(
-        retry_last_answer,
-        inputs=[
-            user_input,
-            chatbot,
-            max_length,
-            top_p,
-            temperature,
-            history,
-            past_key_values,
-        ],
-        # outputs = [chatbot, history, last_user_message, user_message]
-        outputs=[chatbot, history, past_key_values],
-    )
-    deleteBtn.click(delete_last_turn, [chatbot, history], [chatbot, history])
+            kg_name = gr.Radio(list(config.kg_vector_stores.keys()),
+                               label="知识库",
+                               value=None,
+                               info="使用知识库问答，请加载知识库",
+                               interactive=True)
+            set_kg_btn = gr.Button("加载知识库")
+
+            file = gr.File(label="将文件上传到知识库库，内容要尽量匹配",
+                           visible=True,
+                           file_types=['.txt', '.md', '.docx', '.pdf']
+                           )
+
+
+        with gr.Column(scale=4):
+            with gr.Row():
+                chatbot = gr.Chatbot(label='Chinese-LangChain').style(height=400)
+            with gr.Row():
+                message = gr.Textbox(label='请输入问题')
+            with gr.Row():
+                clear_history = gr.Button("🧹 清除历史对话")
+                send = gr.Button("🚀 发送")
+            with gr.Row():
+                gr.Markdown("""提醒：<br>
+                                        [帛凡 Fitness AI模型下载地址](https://huggingface.co/fb700/chatglm-fitness-RLHF) <br>
+                                        It's beyond Fitness,模型由[帛凡]基于ChatGLM-6b进行微调后，在健康（全科）、心理等领域达至少60分的专业水准，而且中文总结能力超越了GPT3.5各版本。声明：本应用仅为模型能力演示，无任何商业行为，部署资源为Huggingface官方免费提供，任何通过此项目产生的知识仅用于学术参考，作者和网站均不承担任何责任。帛凡 Fitness AI 演示T4 is just a machine wiht 16G VRAM ，so OOM is easy to occur ，If you meet any error，Please email me 。 👉 [email protected]<br>
+                                        """)
+        with gr.Column(scale=2):
+            search = gr.Textbox(label='搜索结果')
+
+        # ============= 触发动作=============
+        file.upload(upload_file,
+                    inputs=file,
+                    outputs=None)
+        set_kg_btn.click(
+            set_knowledge,
+            show_progress=True,
+            inputs=[kg_name, chatbot],
+            outputs=chatbot
+        )
+        # 发送按钮 提交
+        send.click(predict,
+                   inputs=[
+                       message,
+                       large_language_model,
+                       embedding_model,
+                       top_k,
+                       use_web,
+                       use_pattern,
+                       state
+                   ],
+                   outputs=[message, chatbot, state, search])
+
+        # 清空历史对话按钮 提交
+        clear_history.click(fn=clear_session,
+                            inputs=[],
+                            outputs=[chatbot, state],
+                            queue=False)
+
+        # 输入框 回车
+        message.submit(predict,
+                       inputs=[
+                           message,
+                           large_language_model,
+                           embedding_model,
+                           top_k,
+                           use_web,
+                           use_pattern,
+                           state
+                       ],
+                       outputs=[message, chatbot, state, search])
 
     with gr.Accordion("Example inputs", open=True):
         etext0 = """ "act": "作为基于文本的冒险游戏",\n "prompt": "我想让你扮演一个基于文本的冒险游戏。我在这个基于文本的冒险游戏中扮演一个角色。请尽可能具体地描述角色所看到的内容和环境，并在游戏输出1、2、3让用户选择进行回复，而不是其它方式。我将输入命令来告诉角色该做什么，而你需要回复角色的行动结果以推动游戏的进行。我的第一个命令是'醒来'，请从这里开始故事 “ """
@@ -384,12 +294,12 @@ with gr.Blocks(title="ChatGLM2-6B-int4", theme=gr.themes.Soft(text_size="sm")) a
     )
     # """
 
-# demo.queue().launch(share=False, inbrowser=True)
-# demo.queue().launch(share=True, inbrowser=True, debug=True)
-
-# concurrency_count > 1 requires more memory, max_size: queue size
-# T4 medium: 30GB, model size: ~4G concurrency_count = 6
-# leave one for api access
-# reduce to 5 if OOM occurs to often
 
-demo.queue(concurrency_count=6, max_size=30).launch(debug=True)
+demo.queue(concurrency_count=2).launch(
+    server_name='0.0.0.0',
+    share=False,
+    show_error=True,
+    debug=True,
+    enable_queue=True,
+    inbrowser=True,
+)

app_modules/overwrites.py

@@ -0,0 +1,49 @@
+from __future__ import annotations
+
+from typing import List, Tuple
+
+from app_modules.utils import *
+
+
+def postprocess(
+        self, y: List[Tuple[str | None, str | None]]
+) -> List[Tuple[str | None, str | None]]:
+    """
+    Parameters:
+        y: List of tuples representing the message and response pairs. Each message and response should be a string, which may be in Markdown format.
+    Returns:
+        List of tuples representing the message and response. Each message and response will be a string of HTML.
+    """
+    if y is None or y == []:
+        return []
+    temp = []
+    for x in y:
+        user, bot = x
+        if not detect_converted_mark(user):
+            user = convert_asis(user)
+        if not detect_converted_mark(bot):
+            bot = convert_mdtext(bot)
+        temp.append((user, bot))
+    return temp
+
+
+with open("./assets/custom.js", "r", encoding="utf-8") as f, open("./assets/Kelpy-Codos.js", "r",
+                                                                  encoding="utf-8") as f2:
+    customJS = f.read()
+    kelpyCodos = f2.read()
+
+
+def reload_javascript():
+    print("Reloading javascript...")
+    js = f'<script>{customJS}</script><script>{kelpyCodos}</script>'
+
+    def template_response(*args, **kwargs):
+        res = GradioTemplateResponseOriginal(*args, **kwargs)
+        res.body = res.body.replace(b'</html>', f'{js}</html>'.encode("utf8"))
+        res.init_headers()
+        return res
+
+    gr.routes.templates.TemplateResponse = template_response
+
+
+GradioTemplateResponseOriginal = gr.routes.templates.TemplateResponse

app_modules/presets.py

@@ -0,0 +1,82 @@
+# -*- coding:utf-8 -*-
+import gradio as gr
+
+
+title = """<h1 align="left" style="min-width:200px; margin-top:0;"> <img src="https://raw.githubusercontent.com/twitter/twemoji/master/assets/svg/1f432.svg" width="32px" style="display: inline"> Baize-7B </h1>"""
+description_top = """\
+<div align="left">
+<p>
+Disclaimer: The LLaMA model is a third-party version available on Hugging Face model hub. This demo should be used for research purposes only. Commercial use is strictly prohibited. The model output is not censored and the authors do not endorse the opinions in the generated content. Use at your own risk.
+</p >
+</div>
+"""
+description = """\
+<div align="center" style="margin:16px 0">
+The demo is built on <a href="https://github.com/GaiZhenbiao/ChuanhuChatGPT">ChuanhuChatGPT</a>.
+</div>
+"""
+CONCURRENT_COUNT = 100
+
+
+ALREADY_CONVERTED_MARK = "<!-- ALREADY CONVERTED BY PARSER. -->"
+
+small_and_beautiful_theme = gr.themes.Soft(
+        primary_hue=gr.themes.Color(
+            c50="#02C160",
+            c100="rgba(2, 193, 96, 0.2)",
+            c200="#02C160",
+            c300="rgba(2, 193, 96, 0.32)",
+            c400="rgba(2, 193, 96, 0.32)",
+            c500="rgba(2, 193, 96, 1.0)",
+            c600="rgba(2, 193, 96, 1.0)",
+            c700="rgba(2, 193, 96, 0.32)",
+            c800="rgba(2, 193, 96, 0.32)",
+            c900="#02C160",
+            c950="#02C160",
+        ),
+        secondary_hue=gr.themes.Color(
+            c50="#576b95",
+            c100="#576b95",
+            c200="#576b95",
+            c300="#576b95",
+            c400="#576b95",
+            c500="#576b95",
+            c600="#576b95",
+            c700="#576b95",
+            c800="#576b95",
+            c900="#576b95",
+            c950="#576b95",
+        ),
+        neutral_hue=gr.themes.Color(
+            name="gray",
+            c50="#f9fafb",
+            c100="#f3f4f6",
+            c200="#e5e7eb",
+            c300="#d1d5db",
+            c400="#B2B2B2",
+            c500="#808080",
+            c600="#636363",
+            c700="#515151",
+            c800="#393939",
+            c900="#272727",
+            c950="#171717",
+        ),
+        radius_size=gr.themes.sizes.radius_sm,
+    ).set(
+        button_primary_background_fill="#06AE56",
+        button_primary_background_fill_dark="#06AE56",
+        button_primary_background_fill_hover="#07C863",
+        button_primary_border_color="#06AE56",
+        button_primary_border_color_dark="#06AE56",
+        button_primary_text_color="#FFFFFF",
+        button_primary_text_color_dark="#FFFFFF",
+        button_secondary_background_fill="#F2F2F2",
+        button_secondary_background_fill_dark="#2B2B2B",
+        button_secondary_text_color="#393939",
+        button_secondary_text_color_dark="#FFFFFF",
+        # background_fill_primary="#F7F7F7",
+        # background_fill_primary_dark="#1F1F1F",
+        block_title_text_color="*primary_500",
+        block_title_background_fill="*primary_100",
+        input_background_fill="#F6F6F6",
+    )

app_modules/utils.py

@@ -0,0 +1,227 @@
+# -*- coding:utf-8 -*-
+from __future__ import annotations
+
+import html
+import logging
+import re
+
+import mdtex2html
+from markdown import markdown
+from pygments import highlight
+from pygments.formatters import HtmlFormatter
+from pygments.lexers import ClassNotFound
+from pygments.lexers import guess_lexer, get_lexer_by_name
+
+from app_modules.presets import *
+
+logging.basicConfig(
+    level=logging.INFO,
+    format="%(asctime)s [%(levelname)s] [%(filename)s:%(lineno)d] %(message)s",
+)
+
+
+def markdown_to_html_with_syntax_highlight(md_str):
+    def replacer(match):
+        lang = match.group(1) or "text"
+        code = match.group(2)
+        lang = lang.strip()
+        # print(1,lang)
+        if lang == "text":
+            lexer = guess_lexer(code)
+            lang = lexer.name
+            # print(2,lang)
+        try:
+            lexer = get_lexer_by_name(lang, stripall=True)
+        except ValueError:
+            lexer = get_lexer_by_name("python", stripall=True)
+        formatter = HtmlFormatter()
+        # print(3,lexer.name)
+        highlighted_code = highlight(code, lexer, formatter)
+
+        return f'<pre><code class="{lang}">{highlighted_code}</code></pre>'
+
+    code_block_pattern = r"```(\w+)?\n([\s\S]+?)\n```"
+    md_str = re.sub(code_block_pattern, replacer, md_str, flags=re.MULTILINE)
+
+    html_str = markdown(md_str)
+    return html_str
+
+
+def normalize_markdown(md_text: str) -> str:
+    lines = md_text.split("\n")
+    normalized_lines = []
+    inside_list = False
+
+    for i, line in enumerate(lines):
+        if re.match(r"^(\d+\.|-|\*|\+)\s", line.strip()):
+            if not inside_list and i > 0 and lines[i - 1].strip() != "":
+                normalized_lines.append("")
+            inside_list = True
+            normalized_lines.append(line)
+        elif inside_list and line.strip() == "":
+            if i < len(lines) - 1 and not re.match(
+                    r"^(\d+\.|-|\*|\+)\s", lines[i + 1].strip()
+            ):
+                normalized_lines.append(line)
+            continue
+        else:
+            inside_list = False
+            normalized_lines.append(line)
+
+    return "\n".join(normalized_lines)
+
+
+def convert_mdtext(md_text):
+    code_block_pattern = re.compile(r"```(.*?)(?:```|$)", re.DOTALL)
+    inline_code_pattern = re.compile(r"`(.*?)`", re.DOTALL)
+    code_blocks = code_block_pattern.findall(md_text)
+    non_code_parts = code_block_pattern.split(md_text)[::2]
+
+    result = []
+    for non_code, code in zip(non_code_parts, code_blocks + [""]):
+        if non_code.strip():
+            non_code = normalize_markdown(non_code)
+            if inline_code_pattern.search(non_code):
+                result.append(markdown(non_code, extensions=["tables"]))
+            else:
+                result.append(mdtex2html.convert(non_code, extensions=["tables"]))
+        if code.strip():
+            # _, code = detect_language(code)  # 暂时去除代码高亮功能，因为在大段代码的情况下会出现问题
+            # code = code.replace("\n\n", "\n") # 暂时去除代码中的空行，因为在大段代码的情况下会出现问题
+            code = f"\n```{code}\n\n```"
+            code = markdown_to_html_with_syntax_highlight(code)
+            result.append(code)
+    result = "".join(result)
+    result += ALREADY_CONVERTED_MARK
+    return result
+
+
+def convert_asis(userinput):
+    return f"<p style=\"white-space:pre-wrap;\">{html.escape(userinput)}</p>" + ALREADY_CONVERTED_MARK
+
+
+def detect_converted_mark(userinput):
+    if userinput.endswith(ALREADY_CONVERTED_MARK):
+        return True
+    else:
+        return False
+
+
+def detect_language(code):
+    if code.startswith("\n"):
+        first_line = ""
+    else:
+        first_line = code.strip().split("\n", 1)[0]
+    language = first_line.lower() if first_line else ""
+    code_without_language = code[len(first_line):].lstrip() if first_line else code
+    return language, code_without_language
+
+
+def convert_to_markdown(text):
+    text = text.replace("$", "&#36;")
+
+    def replace_leading_tabs_and_spaces(line):
+        new_line = []
+
+        for char in line:
+            if char == "\t":
+                new_line.append("&#9;")
+            elif char == " ":
+                new_line.append("&nbsp;")
+            else:
+                break
+        return "".join(new_line) + line[len(new_line):]
+
+    markdown_text = ""
+    lines = text.split("\n")
+    in_code_block = False
+
+    for line in lines:
+        if in_code_block is False and line.startswith("```"):
+            in_code_block = True
+            markdown_text += "```\n"
+        elif in_code_block is True and line.startswith("```"):
+            in_code_block = False
+            markdown_text += "```\n"
+        elif in_code_block:
+            markdown_text += f"{line}\n"
+        else:
+            line = replace_leading_tabs_and_spaces(line)
+            line = re.sub(r"^(#)", r"\\\1", line)
+            markdown_text += f"{line}  \n"
+
+    return markdown_text
+
+
+def add_language_tag(text):
+    def detect_language(code_block):
+        try:
+            lexer = guess_lexer(code_block)
+            return lexer.name.lower()
+        except ClassNotFound:
+            return ""
+
+    code_block_pattern = re.compile(r"(```)(\w*\n[^`]+```)", re.MULTILINE)
+
+    def replacement(match):
+        code_block = match.group(2)
+        if match.group(2).startswith("\n"):
+            language = detect_language(code_block)
+            if language:
+                return f"```{language}{code_block}```"
+            else:
+                return f"```\n{code_block}```"
+        else:
+            return match.group(1) + code_block + "```"
+
+    text2 = code_block_pattern.sub(replacement, text)
+    return text2
+
+
+def delete_last_conversation(chatbot, history):
+    if len(chatbot) > 0:
+        chatbot.pop()
+
+    if len(history) > 0:
+        history.pop()
+
+    return (
+        chatbot,
+        history,
+        "Delete Done",
+    )
+
+
+def reset_state():
+    return [], [], "Reset Done"
+
+
+def reset_textbox():
+    return gr.update(value=""), ""
+
+
+def cancel_outputing():
+    return "Stop Done"
+
+
+def transfer_input(inputs):
+    # 一次性返回，降低延迟
+    textbox = reset_textbox()
+    return (
+        inputs,
+        gr.update(value=""),
+        gr.Button.update(visible=True),
+    )
+
+
+class State:
+    interrupted = False
+
+    def interrupt(self):
+        self.interrupted = True
+
+    def recover(self):
+        self.interrupted = False
+
+
+shared_state = State()

assets/Kelpy-Codos.js

@@ -0,0 +1,76 @@
+// ==UserScript==
+// @name         Kelpy Codos
+// @namespace    https://github.com/Keldos-Li/Kelpy-Codos
+// @version      1.0.5
+// @author       Keldos; https://keldos.me/
+// @description  Add copy button to PRE tags before CODE tag, for Chuanhu ChatGPT especially. 
+//               Based on Chuanhu ChatGPT version: ac04408 (2023-3-22)
+// @license      GPL-3.0
+// @grant        none
+// ==/UserScript==
+
+(function () {
+    'use strict';
+
+    function addCopyButton(pre) {
+        var code = pre.querySelector('code');
+        if (!code) {
+            return; // 如果没有找到 <code> 元素，则不添加按钮
+        }
+        var firstChild = code.firstChild;
+        if (!firstChild) {
+            return; // 如果 <code> 元素没有子节点，则不添加按钮
+        }
+        var button = document.createElement('button');
+        button.textContent = '\uD83D\uDCCE'; // 使用 📎 符号作为“复制”按钮的文本
+        button.style.position = 'relative';
+        button.style.float = 'right';
+        button.style.fontSize = '1em'; // 可选：调整按钮大小
+        button.style.background = 'none'; // 可选：去掉背景颜色
+        button.style.border = 'none'; // 可选：去掉边框
+        button.style.cursor = 'pointer'; // 可选：显示指针样式
+        button.addEventListener('click', function () {
+            var range = document.createRange();
+            range.selectNodeContents(code);
+            range.setStartBefore(firstChild); // 将范围设置为第一个子节点之前
+            var selection = window.getSelection();
+            selection.removeAllRanges();
+            selection.addRange(range);
+
+            try {
+                var success = document.execCommand('copy');
+                if (success) {
+                    button.textContent = '\u2714';
+                    setTimeout(function () {
+                        button.textContent = '\uD83D\uDCCE'; // 恢复按钮为“复制”
+                    }, 2000);
+                } else {
+                    button.textContent = '\u2716';
+                }
+            } catch (e) {
+                console.error(e);
+                button.textContent = '\u2716';
+            }
+
+            selection.removeAllRanges();
+        });
+        code.insertBefore(button, firstChild); // 将按钮插入到第一个子元素之前
+    }
+
+    function handleNewElements(mutationsList, observer) {
+        for (var mutation of mutationsList) {
+            if (mutation.type === 'childList') {
+                for (var node of mutation.addedNodes) {
+                    if (node.nodeName === 'PRE') {
+                        addCopyButton(node);
+                    }
+                }
+            }
+        }
+    }
+
+    var observer = new MutationObserver(handleNewElements);
+    observer.observe(document.documentElement, { childList: true, subtree: true });
+
+    document.querySelectorAll('pre').forEach(addCopyButton);
+})();

assets/custom.css

@@ -0,0 +1,190 @@
+:root {
+    --chatbot-color-light: rgba(255, 255, 255, 0.08);
+    --chatbot-color-dark: #121111;
+}
+
+/* status_display */
+#status_display {
+    display: flex;
+    min-height: 2.5em;
+    align-items: flex-end;
+    justify-content: flex-end;
+}
+#status_display p {
+    font-size: .85em;
+    font-family: monospace;
+    color: var(--body-text-color-subdued);
+}
+
+
+
+/* usage_display */
+#usage_display {
+    height: 1em;
+}
+#usage_display p{
+    padding: 0 1em;
+    font-size: .85em;
+    font-family: monospace;
+    color: var(--body-text-color-subdued);
+}
+/* list */
+ol:not(.options), ul:not(.options) {
+    padding-inline-start: 2em !important;
+}
+
+/* Thank @Keldos-Li for fixing it */
+/* Light mode (default) */
+#chuanhu_chatbot {
+    background-color: var(--chatbot-color-light) !important;
+    color: #000000 !important;
+}
+[data-testid = "bot"] {
+    background-color: rgba(255, 255, 255, 0.08) !important;
+}
+[data-testid = "user"] {
+    background-color: #95EC69 !important;
+}
+
+/* Dark mode */
+.dark #chuanhu_chatbot {
+    background-color: var(--chatbot-color-dark) !important;
+    color: rgba(255, 255, 255, 0.08) !important;
+}
+.dark [data-testid = "bot"] {
+    background-color: #2C2C2C !important;
+}
+.dark [data-testid = "user"] {
+    background-color: #26B561 !important;
+}
+
+#chuanhu_chatbot {
+    height: 100%;
+    min-height: 400px;
+}
+
+[class *= "message"] {
+    border-radius: var(--radius-xl) !important;
+    border: none;
+    padding: var(--spacing-xl) !important;
+    font-size: var(--text-md) !important;
+    line-height: var(--line-md) !important;
+    min-height: calc(var(--text-md)*var(--line-md) + 2*var(--spacing-xl));
+    min-width: calc(var(--text-md)*var(--line-md) + 2*var(--spacing-xl));
+}
+[data-testid = "bot"] {
+    max-width: 85%;
+    border-bottom-left-radius: 0 !important;
+}
+[data-testid = "user"] {
+    max-width: 85%;
+    width: auto !important;
+    border-bottom-right-radius: 0 !important;
+}
+/* Table */
+table {
+    margin: 1em 0;
+    border-collapse: collapse;
+    empty-cells: show;
+}
+td,th {
+    border: 1.2px solid var(--border-color-primary) !important;
+    padding: 0.2em;
+}
+thead {
+    background-color: rgba(175,184,193,0.2);
+}
+thead th {
+    padding: .5em .2em;
+}
+/* Inline code */
+code {
+    display: inline;
+    white-space: break-spaces;
+    border-radius: 6px;
+    margin: 0 2px 0 2px;
+    padding: .2em .4em .1em .4em;
+    background-color: rgba(175,184,193,0.2);
+}
+/* Code block */
+pre code {
+    display: block;
+    overflow: auto;
+    white-space: pre;
+    background-color: hsla(0, 0%, 0%, 80%)!important;
+    border-radius: 10px;
+    padding: 1.4em 1.2em 0em 1.4em;
+    margin: 1.2em 2em 1.2em 0.5em;
+    color: #FFF;
+    box-shadow: 6px 6px 16px hsla(0, 0%, 0%, 0.2);
+}
+/* Hightlight */
+.highlight .hll { background-color: #49483e }
+.highlight .c { color: #75715e } /* Comment */
+.highlight .err { color: #960050; background-color: #1e0010 } /* Error */
+.highlight .k { color: #66d9ef } /* Keyword */
+.highlight .l { color: #ae81ff } /* Literal */
+.highlight .n { color: #f8f8f2 } /* Name */
+.highlight .o { color: #f92672 } /* Operator */
+.highlight .p { color: #f8f8f2 } /* Punctuation */
+.highlight .ch { color: #75715e } /* Comment.Hashbang */
+.highlight .cm { color: #75715e } /* Comment.Multiline */
+.highlight .cp { color: #75715e } /* Comment.Preproc */
+.highlight .cpf { color: #75715e } /* Comment.PreprocFile */
+.highlight .c1 { color: #75715e } /* Comment.Single */
+.highlight .cs { color: #75715e } /* Comment.Special */
+.highlight .gd { color: #f92672 } /* Generic.Deleted */
+.highlight .ge { font-style: italic } /* Generic.Emph */
+.highlight .gi { color: #a6e22e } /* Generic.Inserted */
+.highlight .gs { font-weight: bold } /* Generic.Strong */
+.highlight .gu { color: #75715e } /* Generic.Subheading */
+.highlight .kc { color: #66d9ef } /* Keyword.Constant */
+.highlight .kd { color: #66d9ef } /* Keyword.Declaration */
+.highlight .kn { color: #f92672 } /* Keyword.Namespace */
+.highlight .kp { color: #66d9ef } /* Keyword.Pseudo */
+.highlight .kr { color: #66d9ef } /* Keyword.Reserved */
+.highlight .kt { color: #66d9ef } /* Keyword.Type */
+.highlight .ld { color: #e6db74 } /* Literal.Date */
+.highlight .m { color: #ae81ff } /* Literal.Number */
+.highlight .s { color: #e6db74 } /* Literal.String */
+.highlight .na { color: #a6e22e } /* Name.Attribute */
+.highlight .nb { color: #f8f8f2 } /* Name.Builtin */
+.highlight .nc { color: #a6e22e } /* Name.Class */
+.highlight .no { color: #66d9ef } /* Name.Constant */
+.highlight .nd { color: #a6e22e } /* Name.Decorator */
+.highlight .ni { color: #f8f8f2 } /* Name.Entity */
+.highlight .ne { color: #a6e22e } /* Name.Exception */
+.highlight .nf { color: #a6e22e } /* Name.Function */
+.highlight .nl { color: #f8f8f2 } /* Name.Label */
+.highlight .nn { color: #f8f8f2 } /* Name.Namespace */
+.highlight .nx { color: #a6e22e } /* Name.Other */
+.highlight .py { color: #f8f8f2 } /* Name.Property */
+.highlight .nt { color: #f92672 } /* Name.Tag */
+.highlight .nv { color: #f8f8f2 } /* Name.Variable */
+.highlight .ow { color: #f92672 } /* Operator.Word */
+.highlight .w { color: #f8f8f2 } /* Text.Whitespace */
+.highlight .mb { color: #ae81ff } /* Literal.Number.Bin */
+.highlight .mf { color: #ae81ff } /* Literal.Number.Float */
+.highlight .mh { color: #ae81ff } /* Literal.Number.Hex */
+.highlight .mi { color: #ae81ff } /* Literal.Number.Integer */
+.highlight .mo { color: #ae81ff } /* Literal.Number.Oct */
+.highlight .sa { color: #e6db74 } /* Literal.String.Affix */
+.highlight .sb { color: #e6db74 } /* Literal.String.Backtick */
+.highlight .sc { color: #e6db74 } /* Literal.String.Char */
+.highlight .dl { color: #e6db74 } /* Literal.String.Delimiter */
+.highlight .sd { color: #e6db74 } /* Literal.String.Doc */
+.highlight .s2 { color: #e6db74 } /* Literal.String.Double */
+.highlight .se { color: #ae81ff } /* Literal.String.Escape */
+.highlight .sh { color: #e6db74 } /* Literal.String.Heredoc */
+.highlight .si { color: #e6db74 } /* Literal.String.Interpol */
+.highlight .sx { color: #e6db74 } /* Literal.String.Other */
+.highlight .sr { color: #e6db74 } /* Literal.String.Regex */
+.highlight .s1 { color: #e6db74 } /* Literal.String.Single */
+.highlight .ss { color: #e6db74 } /* Literal.String.Symbol */
+.highlight .bp { color: #f8f8f2 } /* Name.Builtin.Pseudo */
+.highlight .fm { color: #a6e22e } /* Name.Function.Magic */
+.highlight .vc { color: #f8f8f2 } /* Name.Variable.Class */
+.highlight .vg { color: #f8f8f2 } /* Name.Variable.Global */
+.highlight .vi { color: #f8f8f2 } /* Name.Variable.Instance */
+.highlight .vm { color: #f8f8f2 } /* Name.Variable.Magic */
+.highlight .il { color: #ae81ff } /* Literal.Number.Integer.Long */

assets/custom.js

@@ -0,0 +1 @@
+// custom javascript here

clc/__init__.py

@@ -0,0 +1,11 @@
+#!/usr/bin/env python
+# -*- coding:utf-8 _*-
+"""
+@author:quincy qiang
+@license: Apache Licence
+@file: __init__.py
+@time: 2023/04/17
+@contact: [email protected]
+@software: PyCharm
+@description: coding..
+"""

clc/config.py

@@ -0,0 +1,18 @@
+#!/usr/bin/env python
+# -*- coding:utf-8 _*-
+"""
+@author:quincy qiang
+@license: Apache Licence
+@file: config.py
+@time: 2023/04/17
+@contact: [email protected]
+@software: PyCharm
+@description: coding..
+"""
+
+
+class LangChainCFG:
+    llm_model_name = 'fb700/chatglm-fitness-RLHF'  # 本地模型文件 or huggingface远程仓库
+    embedding_model_name = 'moka-ai/m3e-large'  # 检索模型文件 or huggingface远程仓库
+    vector_store_path = '.'
+    docs_path = './docs'

clc/gpt_service.py

@@ -0,0 +1,62 @@
+#!/usr/bin/env python
+# -*- coding:utf-8 _*-
+"""
+@author:quincy qiang
+@license: Apache Licence
+@file: generate.py
+@time: 2023/04/17
+@contact: [email protected]
+@software: PyCharm
+@description: coding..
+"""
+
+from typing import List, Optional
+
+from langchain.llms.base import LLM
+from langchain.llms.utils import enforce_stop_tokens
+from transformers import AutoModel, AutoTokenizer
+
+
+class ChatGLMService(LLM):
+    max_token: int = 10000
+    temperature: float = 0.1
+    top_p = 0.9
+    history = []
+    tokenizer: object = None
+    model: object = None
+
+    def __init__(self):
+        super().__init__()
+
+    @property
+    def _llm_type(self) -> str:
+        return "ChatGLM"
+
+    def _call(self,
+              prompt: str,
+              stop: Optional[List[str]] = None) -> str:
+        response, _ = self.model.chat(
+            self.tokenizer,
+            prompt,
+            history=self.history,
+            max_length=self.max_token,
+            temperature=self.temperature,
+        )
+        if stop is not None:
+            response = enforce_stop_tokens(response, stop)
+        self.history = self.history + [[None, response]]
+        return response
+
+    def load_model(self,
+                   model_name_or_path: str = "THUDM/chatglm-6b"):
+        self.tokenizer = AutoTokenizer.from_pretrained(
+            model_name_or_path,
+            trust_remote_code=True
+        )
+        self.model = AutoModel.from_pretrained(model_name_or_path, trust_remote_code=True).half().cuda()
+        self.model=self.model.eval()
+# if __name__ == '__main__':
+#     config=LangChainCFG()
+#     chatLLM = ChatGLMService()
+#     chatLLM.load_model(model_name_or_path=config.llm_model_name)
+

clc/langchain_application.py

@@ -0,0 +1,97 @@
+#!/usr/bin/env python
+# -*- coding:utf-8 _*-
+"""
+@author:quincy qiang
+@license: Apache Licence
+@file: model.py
+@time: 2023/04/17
+@contact: [email protected]
+@software: PyCharm
+@description: coding..
+"""
+from langchain.chains import RetrievalQA
+from langchain.prompts.prompt import PromptTemplate
+
+from clc.config import LangChainCFG
+from clc.gpt_service import ChatGLMService
+from clc.source_service import SourceService
+
+
+class LangChainApplication(object):
+    def __init__(self, config):
+        self.config = config
+        self.llm_service = ChatGLMService()
+        self.llm_service.load_model(model_name_or_path=self.config.llm_model_name)
+        self.source_service = SourceService(config)
+
+        # if self.config.kg_vector_stores is None:
+        #     print("init a source vector store")
+        #     self.source_service.init_source_vector()
+        # else:
+        #     print("load zh_wikipedia source vector store ")
+        #     try:
+        #         self.source_service.load_vector_store(self.config.kg_vector_stores['初始化知识库'])
+        #     except Exception as e:
+        #         self.source_service.init_source_vector()
+
+    def get_knowledge_based_answer(self, query,
+                                   history_len=5,
+                                   temperature=0.1,
+                                   top_p=0.9,
+                                   top_k=4,
+                                   web_content='',
+                                   chat_history=[]):
+        if web_content:
+            prompt_template = f"""基于以下已知信息，简洁和专业的来回答用户的问题。
+                                如果无法从中得到答案，请说 "根据已知信息无法回答该问题" 或 "没有提供足够的相关信息"，不允许在答案中添加编造成分，答案请使用中文。
+                                已知网络检索内容：{web_content}""" + """
+                                已知内容:
+                                {context}
+                                问题:
+                                {question}"""
+        else:
+            prompt_template = """基于以下已知信息，简洁和专业的来回答用户的问题。
+                                            如果无法从中得到答案，请说 "根据已知信息无法回答该问题" 或 "没有提供足够的相关信息"，不允许在答案中添加编造成分，答案请使用中文。
+                                            已知内容:
+                                            {context}
+                                            问题:
+                                            {question}"""
+        prompt = PromptTemplate(template=prompt_template,
+                                input_variables=["context", "question"])
+        self.llm_service.history = chat_history[-history_len:] if history_len > 0 else []
+
+        self.llm_service.temperature = temperature
+        self.llm_service.top_p = top_p
+
+        knowledge_chain = RetrievalQA.from_llm(
+            llm=self.llm_service,
+            retriever=self.source_service.vector_store.as_retriever(
+                search_kwargs={"k": top_k}),
+            prompt=prompt)
+        knowledge_chain.combine_documents_chain.document_prompt = PromptTemplate(
+            input_variables=["page_content"], template="{page_content}")
+
+        knowledge_chain.return_source_documents = True
+
+        result = knowledge_chain({"query": query})
+        return result
+
+    def get_llm_answer(self, query='', web_content=''):
+        if web_content:
+            prompt = f'基于网络检索内容：{web_content}，回答以下问题{query}'
+        else:
+            prompt = query
+        result = self.llm_service._call(prompt)
+        return result
+
+
+if __name__ == '__main__':
+    config = LangChainCFG()
+    application = LangChainApplication(config)
+    # result = application.get_knowledge_based_answer('马保国是谁')
+    # print(result)
+    # application.source_service.add_document('/home/searchgpt/yq/Knowledge-ChatGLM/docs/added/马保国.txt')
+    # result = application.get_knowledge_based_answer('马保国是谁')
+    # print(result)
+    result = application.get_llm_answer('马保国是谁')
+    print(result)

clc/source_service.py

@@ -0,0 +1,86 @@
+#!/usr/bin/env python
+# -*- coding:utf-8 _*-
+"""
+@author:quincy qiang
+@license: Apache Licence
+@file: search.py
+@time: 2023/04/17
+@contact: [email protected]
+@software: PyCharm
+@description: coding..
+"""
+
+import os
+
+from duckduckgo_search import ddg
+from langchain.document_loaders import UnstructuredFileLoader
+from langchain.embeddings.huggingface import HuggingFaceEmbeddings
+from langchain.vectorstores import FAISS
+
+
+class SourceService(object):
+    def __init__(self, config):
+        self.vector_store = None
+        self.config = config
+        self.embeddings = HuggingFaceEmbeddings(model_name=self.config.embedding_model_name)
+        self.docs_path = self.config.docs_path
+        self.vector_store_path = self.config.vector_store_path
+
+    def init_source_vector(self):
+        """
+        初始化本地知识库向量
+        :return:
+        """
+        docs = []
+        for doc in os.listdir(self.docs_path):
+            if doc.endswith('.txt'):
+                print(doc)
+                loader = UnstructuredFileLoader(f'{self.docs_path}/{doc}', mode="elements")
+                doc = loader.load()
+                docs.extend(doc)
+        self.vector_store = FAISS.from_documents(docs, self.embeddings)
+        self.vector_store.save_local(self.vector_store_path)
+
+    def add_document(self, document_path):
+        loader = UnstructuredFileLoader(document_path, mode="elements")
+        doc = loader.load()
+        self.vector_store.add_documents(doc)
+        self.vector_store.save_local(self.vector_store_path)
+
+    def load_vector_store(self, path):
+        if path is None:
+            self.vector_store = FAISS.load_local(self.vector_store_path, self.embeddings)
+        else:
+            self.vector_store = FAISS.load_local(path, self.embeddings)
+        return self.vector_store
+
+    def search_web(self, query):
+
+        # SESSION.proxies = {
+        #     "http": f"socks5h://localhost:7890",
+        #     "https": f"socks5h://localhost:7890"
+        # }
+        try:
+            results = ddg(query)
+            web_content = ''
+            if results:
+                for result in results:
+                    web_content += result['body']
+            return web_content
+        except Exception as e:
+            print(f"网络检索异常:{query}")
+            return ''
+# if __name__ == '__main__':
+#     config = LangChainCFG()
+#     source_service = SourceService(config)
+#     source_service.init_source_vector()
+#     search_result = source_service.vector_store.similarity_search_with_score('科比')
+#     print(search_result)
+#
+#     source_service.add_document('/home/searchgpt/yq/Knowledge-ChatGLM/docs/added/科比.txt')
+#     search_result = source_service.vector_store.similarity_search_with_score('科比')
+#     print(search_result)
+#
+#     vector_store=source_service.load_vector_store()
+#     search_result = source_service.vector_store.similarity_search_with_score('科比')
+#     print(search_result)

corpus/zh_wikipedia/README.md

@@ -0,0 +1,114 @@
+## 知识库构建
+
+
+###  1 Wikipedia构建
+
+参考教程：https://blog.51cto.com/u_15127535/2697309
+
+
+一、维基百科
+
+维基百科（Wikipedia），是一个基于维基技术的多语言百科全书协作计划，也是一部用不同语言写成的网络百科全书。维基百科是由吉米·威尔士与拉里·桑格两人合作创建的，于2001年1月13日在互联网上推出网站服务，并在2001年1月15日正式展开网络百科全书的项目。
+
+
+
+二、维基百科处理
+
+1 环境配置（1）编程语言采用 python3（2）Gensim第三方库，Gensim是一个Python的工具包，其中有包含了中文维基百科数据处理的类，使用方便。
+Gensim : https://github.com/RaRe-Technologies/gensim
+
+使用 pip install gensim 安装gensim。
+
+（3）OpenCC第三方库，是中文字符转换，包括中文简体繁体相互转换等。
+
+OpenCC：https://github.com/BYVoid/OpenCC，OpenCC源码采用c++实现，如果会用c++的可以使用根据介绍，make编译源码。
+
+OpenCC也有python版本实现，可以通过pip安装（pip install opencc-python），速度要比c++版慢，但是使用方便，安装简单，推荐使用pip安装。
+
+
+
+2 数据下载
+
+中文维基百科数据按月进行更新备份，一般情况下，下载当前最新的数据，下载地址（https://dumps.wikimedia.org/zhwiki/latest/），我们下载的数据是：zhwiki-latest-pages-articles.xml.bz2。
+
+中文维基百科数据一般包含如下几个部分：
+
+
+
+训练词向量采用的数据是正文数据，下面我们将对正文数据进行处理。
+
+
+
+3 数据抽取
+
+下载下来的数据是压缩文件（bz2，gz），不需要解压，这里已经写好了一份利用gensim处理维基百科数据的脚本
+
+wikidata_processhttps://github.com/bamtercelboo/corpus_process_script/tree/master/wikidata_process
+
+使用：
+
+python wiki_process.py zhwiki-latest-pages-articles.xml.bz2 zhwiki-latest.txt
+
+这部分需要一些的时间，处理过后的得到一份中文维基百科正文数据（zhwiki-latest.txt）。
+
+输出文件类似于：
+
+歐幾里得 西元前三世紀的古希臘數學家 現在被認為是幾何之父 此畫為拉斐爾的作品 雅典學院 数学 是利用符号语言研究數量 结构 变化以及空间等概念的一門学科
+
+
+
+4 中文繁体转简体
+
+经过上述脚本得到的文件包含了大量的中文繁体字，我们需要将其转换成中文简体字。
+
+我们利用OpenCC进行繁体转简体的操作，这里已经写好了一份python版本的脚本来进行处理
+
+chinese_t2s
+
+https://github.com/bamtercelboo/corpus_process_script/tree/master/chinese_t2s
+
+使用：
+
+python chinese_t2s.py –input input_file –output output_file
+
+like:
+
+python chinese_t2s.py –input zhwiki-latest.txt –output zhwiki-latest-simplified.txt
+
+输出文件类似于
+
+欧几里得 西元前三世纪的古希腊数学家 现在被认为是几何之父 此画为拉斐尔的作品 雅典学院 数学 是利用符号语言研究数量 结构 变化以及空间等概念的一门学科
+
+      5.清洗语料
+
+上述处理已经得到了我们想要的数据，但是在其他的一些任务中，还需要对这份数据进行简单的处理，像词向量任务，在这得到的数据里，还包含很多的英文，日文，德语，中文标点，乱码等一些字符，我们要把这些字符清洗掉，只留下中文字符，仅仅留下中文字符只是一种处理方案，不同的任务需要不同的处理，这里已经写好了一份脚本
+
+clean
+
+https://github.com/bamtercelboo/corpus_process_script/tree/master/clean
+
+使用：
+
+python clean_corpus.py –input input_file –output output_file
+
+like：
+
+python clean_corpus.py –input zhwiki-latest-simplified.txt –output zhwiki-latest-simplified_cleaned.txt
+
+效果：
+
+input:
+
+哲学	哲学（英语：philosophy）是对普遍的和基本的问题的研究，这些问题通常和存在、知识、价值、理性、心灵、语言等有关。
+
+output:
+
+哲学哲学英语是对普遍的和基本的问题的研究这些问题通常和存在知识价值理性心灵语言等有关
+
+
+
+三、数据处理脚本
+
+近在github上新开了一个Repositorycorpus-process-scripthttps://github.com/bamtercelboo/corpus_process_script在这个repo，将存放中英文数据处理脚本，语言不限，会有详细的README，希望对大家能有一些帮助。
+References
+

corpus/zh_wikipedia/chinese_t2s.py

@@ -0,0 +1,82 @@
+#!/usr/bin/env python
+# -*- coding:utf-8 _*-
+"""
+@author:quincy qiang
+@license: Apache Licence
+@file: chinese_t2s.py.py
+@time: 2023/04/19
+@contact: [email protected]
+@software: PyCharm
+@description: coding..
+"""
+import sys
+import os
+import opencc
+from optparse import OptionParser
+
+
+class T2S(object):
+    def __init__(self, infile, outfile):
+        self.infile = infile
+        self.outfile = outfile
+        self.cc = opencc.OpenCC('t2s')
+        self.t_corpus = []
+        self.s_corpus = []
+        self.read(self.infile)
+        self.t2s()
+        self.write(self.s_corpus, self.outfile)
+
+    def read(self, path):
+        print(path)
+        if os.path.isfile(path) is False:
+            print("path is not a file")
+            exit()
+        now_line = 0
+        with open(path, encoding="UTF-8") as f:
+            for line in f:
+                now_line += 1
+                line = line.replace("\n", "").replace("\t", "")
+                self.t_corpus.append(line)
+        print("read finished")
+
+    def t2s(self):
+        now_line = 0
+        all_line = len(self.t_corpus)
+        for line in self.t_corpus:
+            now_line += 1
+            if now_line % 1000 == 0:
+                sys.stdout.write("\rhandling with the {} line, all {} lines.".format(now_line, all_line))
+            self.s_corpus.append(self.cc.convert(line))
+        sys.stdout.write("\rhandling with the {} line, all {} lines.".format(now_line, all_line))
+        print("\nhandling finished")
+
+    def write(self, list, path):
+        print("writing now......")
+        if os.path.exists(path):
+            os.remove(path)
+        file = open(path, encoding="UTF-8", mode="w")
+        for line in list:
+            file.writelines(line + "\n")
+        file.close()
+        print("writing finished.")
+
+
+if __name__ == "__main__":
+    print("Traditional Chinese to Simplified Chinese")
+    # input = "./wiki_zh_10.txt"
+    # output = "wiki_zh_10_sim.txt"
+    # T2S(infile=input, outfile=output)
+
+    parser = OptionParser()
+    parser.add_option("--input", dest="input", default="", help="traditional file")
+    parser.add_option("--output", dest="output", default="", help="simplified file")
+    (options, args) = parser.parse_args()
+
+    input = options.input
+    output = options.output
+
+    try:
+        T2S(infile=input, outfile=output)
+        print("All Finished.")
+    except Exception as err:
+        print(err)

corpus/zh_wikipedia/clean_corpus.py

@@ -0,0 +1,88 @@
+#!/usr/bin/env python
+# -*- coding:utf-8 _*-
+"""
+@author:quincy qiang
+@license: Apache Licence
+@file: clean_corpus.py.py
+@time: 2023/04/19
+@contact: [email protected]
+@software: PyCharm
+@description: coding..
+"""
+"""
+    FILE :  clean_corpus.py
+    FUNCTION : None
+"""
+import sys
+import os
+from optparse import OptionParser
+
+
+class Clean(object):
+    def __init__(self, infile, outfile):
+        self.infile = infile
+        self.outfile = outfile
+        self.corpus = []
+        self.remove_corpus = []
+        self.read(self.infile)
+        self.remove(self.corpus)
+        self.write(self.remove_corpus, self.outfile)
+
+    def read(self, path):
+        print("reading now......")
+        if os.path.isfile(path) is False:
+            print("path is not a file")
+            exit()
+        now_line = 0
+        with open(path, encoding="UTF-8") as f:
+            for line in f:
+                now_line += 1
+                line = line.replace("\n", "").replace("\t", "")
+                self.corpus.append(line)
+        print("read finished.")
+
+    def remove(self, list):
+        print("removing now......")
+        for line in list:
+            re_list = []
+            for word in line:
+                if self.is_chinese(word) is False:
+                    continue
+                re_list.append(word)
+            self.remove_corpus.append("".join(re_list))
+        print("remove finished.")
+
+    def write(self, list, path):
+        print("writing now......")
+        if os.path.exists(path):
+            os.remove(path)
+        file = open(path, encoding="UTF-8", mode="w")
+        for line in list:
+            file.writelines(line + "\n")
+        file.close()
+        print("writing finished")
+
+    def is_chinese(self, uchar):
+        """判断一个unicode是否是汉字"""
+        if (uchar >= u'\u4e00') and (uchar <= u'\u9fa5'):
+            return True
+        else:
+            return False
+
+
+if __name__ == "__main__":
+    print("clean corpus")
+
+    parser = OptionParser()
+    parser.add_option("--input", dest="input", default="", help="input file")
+    parser.add_option("--output", dest="output", default="", help="output file")
+    (options, args) = parser.parse_args()
+
+    input = options.input
+    output = options.output
+
+    try:
+        Clean(infile=input, outfile=output)
+        print("All Finished.")
+    except Exception as err:
+        print(err)

corpus/zh_wikipedia/wiki_process.py

@@ -0,0 +1,46 @@
+#!/usr/bin/env python
+# -*- coding:utf-8 _*-
+"""
+@author:quincy qiang
+@license: Apache Licence
+@file: wiki_process.py
+@time: 2023/04/19
+@contact: [email protected]
+@software: PyCharm
+@description: https://blog.csdn.net/weixin_40871455/article/details/88822290
+"""
+import logging
+import sys
+from gensim.corpora import WikiCorpus
+
+logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s', level=logging.INFO)
+'''
+    extract data from wiki dumps(*articles.xml.bz2) by gensim.
+    @2019-3-26
+'''
+
+
+def help():
+    print("Usage: python wikipro.py zhwiki-20190320-pages-articles-multistream.xml.bz2 wiki.zh.txt")
+
+
+if __name__ == '__main__':
+    if len(sys.argv) < 3:
+        help()
+        sys.exit(1)
+    logging.info("running %s" % ' '.join(sys.argv))
+    inp, outp = sys.argv[1:3]
+    i = 0
+
+    output = open(outp, 'w', encoding='utf8')
+    wiki = WikiCorpus(inp, dictionary={})
+    for text in wiki.get_texts():
+        output.write(" ".join(text) + "\n")
+        i = i + 1
+        if (i % 10000 == 0):
+            logging.info("Save " + str(i) + " articles")
+    output.close()
+    logging.info("Finished saved " + str(i) + "articles")
+
+    # 命令行下运行
+    # python wikipro.py cache/zh_wikipedia/zhwiki-latest-pages-articles.xml.bz2 wiki.zh.txt

create_knowledge.py

@@ -0,0 +1,79 @@
+#!/usr/bin/env python
+# -*- coding:utf-8 _*-
+"""
+@author:quincy qiang
+@license: Apache Licence
+@file: create_knowledge.py
+@time: 2023/04/18
+@contact: [email protected]
+@software: PyCharm
+@description: - emoji：https://emojixd.com/pocket/science
+"""
+import os
+import pandas as pd
+from langchain.schema import Document
+from langchain.document_loaders import UnstructuredFileLoader
+from langchain.embeddings.huggingface import HuggingFaceEmbeddings
+from langchain.vectorstores import FAISS
+from tqdm import tqdm
+# 中文Wikipedia数据导入示例：
+embedding_model_name = '/root/pretrained_models/text2vec-large-chinese'
+docs_path = '/root/GoMall/Knowledge-ChatGLM/cache/financial_research_reports'
+embeddings = HuggingFaceEmbeddings(model_name=embedding_model_name)
+
+
+# Wikipedia数据处理
+
+# docs = []
+
+# with open('docs/zh_wikipedia/zhwiki.sim.utf8', 'r', encoding='utf-8') as f:
+#     for idx, line in tqdm(enumerate(f.readlines())):
+#         metadata = {"source": f'doc_id_{idx}'}
+#         docs.append(Document(page_content=line.strip(), metadata=metadata))
+#
+# vector_store = FAISS.from_documents(docs, embeddings)
+# vector_store.save_local('cache/zh_wikipedia/')
+
+
+
+docs = []
+
+with open('cache/zh_wikipedia/wiki.zh-sim-cleaned.txt', 'r', encoding='utf-8') as f:
+    for idx, line in tqdm(enumerate(f.readlines())):
+        metadata = {"source": f'doc_id_{idx}'}
+        docs.append(Document(page_content=line.strip(), metadata=metadata))
+
+vector_store = FAISS.from_documents(docs, embeddings)
+vector_store.save_local('cache/zh_wikipedia/')
+
+
+# 金融研报数据处理
+# docs = []
+#
+# for doc in tqdm(os.listdir(docs_path)):
+#     if doc.endswith('.txt'):
+#         # print(doc)
+#         loader = UnstructuredFileLoader(f'{docs_path}/{doc}', mode="elements")
+#         doc = loader.load()
+#         docs.extend(doc)
+# vector_store = FAISS.from_documents(docs, embeddings)
+# vector_store.save_local('cache/financial_research_reports')
+
+
+# 英雄联盟
+
+docs = []
+
+lol_df = pd.read_csv('cache/lol/champions.csv')
+# lol_df.columns = ['id', '英雄简称', '英雄全称', '出生地', '人物属性', '英雄类别', '英雄故事']
+print(lol_df)
+
+for idx, row in lol_df.iterrows():
+    metadata = {"source": f'doc_id_{idx}'}
+    text = ' '.join(row.values)
+    # for col in ['英雄简称', '英雄全称', '出生地', '人物属性', '英雄类别', '英雄故事']:
+    #     text += row[col]
+    docs.append(Document(page_content=text, metadata=metadata))
+
+vector_store = FAISS.from_documents(docs, embeddings)
+vector_store.save_local('cache/lol/')

docs/added/马保国.txt

@@ -0,0 +1,2 @@
+马保国（1952年- ）  ，英国混元太极拳协会创始人，自称“浑元形意太极拳掌门人”。
+2020年11月15日，马保国首度回应“屡遭恶搞剪辑”：“远离武林，已回归平静生活”   ；11月16日，马保国宣布将参演电影《少年功夫王》。   11月28日，人民日报客户端刊发评论《马保国闹剧，该立刻收场了》。  11月29日，新浪微博社区管理官方发布公告称，已解散马保国相关的粉丝群。

docs/姚明.txt

@@ -0,0 +1,4 @@
+姚明（Yao Ming），男，汉族，无党派人士，1980年9月12日出生于上海市徐汇区，祖籍江苏省苏州市吴江区震泽镇，前中国职业篮球运动员，司职中锋，现任亚洲篮球联合会主席、中国篮球协会主席、中职联公司董事长兼总经理， [1-3]   十三届全国青联副主席， [4]  改革先锋奖章获得者。 [5]  第十四届全国人大代表 [108]  。
+1998年4月，姚明入选王非执教的国家队，开始篮球生涯。2001夺得CBA常规赛MVP，2002年夺得CBA总冠军以及总决赛MVP，分别3次当选CBA篮板王以及盖帽王，2次当选CBA扣篮王。在2002年NBA选秀中，他以状元秀身份被NBA的休斯敦火箭队选中，2003-09年连续6个赛季（生涯共8次）入选NBA全明星赛阵容，2次入选NBA最佳阵容二阵，3次入选NBA最佳阵容三阵。2009年，姚明收购上海男篮，成为上海久事大鲨鱼俱乐部老板。2011年7月20日，姚明宣布退役。
+2013年，姚明当选为第十二届全国政协委员。2015年2月10日，姚明正式成为北京申办冬季奥林匹克运动会形象大使之一。2016年4月4日，姚明正式入选2016年奈史密斯篮球名人纪念堂，成为首位获此殊荣的中国人；10月，姚明成为中国“火星大使”；11月，当选CBA公司副董事长。 [6]
+2017年10月20日，姚明已将上海哔哩哔哩俱乐部全部股权转让。 [7]  2018年9月，荣获第十届“中华慈善奖”慈善楷模奖项。 [8]  2019年10月28日，胡润研究院发布《2019胡润80后白手起家富豪榜》，姚明以22亿元排名第48。

docs/王治郅.txt

@@ -0,0 +1,4 @@
+王治郅，1977年7月8日出生于北京，前中国篮球运动员，司职大前锋/中锋，现已退役。 [1]
+1991年12月，王治郅进入八一青年男子篮球队。1993年初入选中国少年特殊身材篮球队，并于同年入选中国青年男子篮球队，后加入八一男子篮球队。2001-05年曾效力于NBA独行侠、快船以及热火队。 [1]
+2015年9月15日新赛季CBA注册截止日，八一队的球员注册名单上并没有出现38岁老将王治郅的名字，王治郅退役已成事实 [2]  。2016年7月5日，王治郅的退役仪式在北京奥体中心举行，在仪式上，王治郅正式宣布退役。 [3]  2018年7月，王治郅正式成为八一南昌队主教练。 [1]  [4]
+王治郅是中国篮球界进入NBA的第一人，被评选为中国篮坛50大杰出人物和中国申办奥运特使。他和姚明、蒙克·巴特尔一起，被称为篮球场上的“移动长城”。 [5]

docs/科比.txt

@@ -0,0 +1,5 @@
+科比·布莱恩特（Kobe Bryant，1978年8月23日—2020年1月26日），全名科比·比恩·布莱恩特·考克斯（Kobe Bean Bryant Cox），出生于美国宾夕法尼亚州费城，美国已故篮球运动员，司职得分后卫/小前锋。 [5]  [24]  [84]
+1996年NBA选秀，科比于第1轮第13顺位被夏洛特黄蜂队选中并被交易至洛杉矶湖人队，整个NBA生涯都效力于洛杉矶湖人队；共获得5次NBA总冠军、1次NBA常规赛MVP、2次NBA总决赛MVP、4次NBA全明星赛MVP、2次NBA赛季得分王；共入选NBA全明星首发阵容18次、NBA最佳阵容15次（其中一阵11次、二阵2次、三阵2次）、NBA最佳防守阵容12次（其中一阵9次、二阵3次）。 [9]  [24]
+2007年，科比首次入选美国国家男子篮球队，后帮助美国队夺得2007年美洲男篮锦标赛金牌、2008年北京奥运会男子篮球金牌以及2012年伦敦奥运会男子篮球金牌。 [91]
+2015年11月30日，科比发文宣布将在赛季结束后退役。 [100]  2017年12月19日，湖人队为科比举行球衣退役仪式。 [22]  2020年4月5日，科比入选奈·史密斯篮球名人纪念堂。 [7]
+美国时间2020年1月26日（北京时间2020年1月27日），科比因直升机事故遇难，享年41岁。 [23]

main.py

@@ -0,0 +1,227 @@
+import os
+import shutil
+
+from app_modules.overwrites import postprocess
+from app_modules.presets import *
+from clc.langchain_application import LangChainApplication
+
+
+# 修改成自己的配置！！！
+class LangChainCFG:
+    llm_model_name = 'THUDM/chatglm-6b-int4-qe'  # 本地模型文件 or huggingface远程仓库
+    embedding_model_name = 'GanymedeNil/text2vec-large-chinese'  # 检索模型文件 or huggingface远程仓库
+    vector_store_path = './cache'
+    docs_path = './docs'
+    kg_vector_stores = {
+        '中文维基百科': './cache/zh_wikipedia',
+        '大规模金融研报': './cache/financial_research_reports',
+        '初始化': './cache',
+    }  # 可以替换成自己的知识库，如果没有需要设置为None
+    # kg_vector_stores=None
+    patterns = ['模型问答', '知识库问答']  #
+
+
+config = LangChainCFG()
+application = LangChainApplication(config)
+
+
+def get_file_list():
+    if not os.path.exists("docs"):
+        return []
+    return [f for f in os.listdir("docs")]
+
+
+file_list = get_file_list()
+
+
+def upload_file(file):
+    if not os.path.exists("docs"):
+        os.mkdir("docs")
+    filename = os.path.basename(file.name)
+    shutil.move(file.name, "docs/" + filename)
+    # file_list首位插入新上传的文件
+    file_list.insert(0, filename)
+    application.source_service.add_document("docs/" + filename)
+    return gr.Dropdown.update(choices=file_list, value=filename)
+
+
+def set_knowledge(kg_name, history):
+    try:
+        application.source_service.load_vector_store(config.kg_vector_stores[kg_name])
+        msg_status = f'{kg_name}知识库已成功加载'
+    except Exception as e:
+        print(e)
+        msg_status = f'{kg_name}知识库未成功加载'
+    return history + [[None, msg_status]]
+
+
+def clear_session():
+    return '', None
+
+
+def predict(input,
+            large_language_model,
+            embedding_model,
+            top_k,
+            use_web,
+            use_pattern,
+            history=None):
+    # print(large_language_model, embedding_model)
+    print(input)
+    if history == None:
+        history = []
+
+    if use_web == '使用':
+        web_content = application.source_service.search_web(query=input)
+    else:
+        web_content = ''
+    search_text = ''
+    if use_pattern == '模型问答':
+        result = application.get_llm_answer(query=input, web_content=web_content)
+        history.append((input, result))
+        search_text += web_content
+        return '', history, history, search_text
+
+    else:
+        resp = application.get_knowledge_based_answer(
+            query=input,
+            history_len=1,
+            temperature=0.1,
+            top_p=0.9,
+            top_k=top_k,
+            web_content=web_content,
+            chat_history=history
+        )
+        history.append((input, resp['result']))
+        for idx, source in enumerate(resp['source_documents'][:4]):
+            sep = f'----------【搜索结果{idx + 1}：】---------------\n'
+            search_text += f'{sep}\n{source.page_content}\n\n'
+        print(search_text)
+        search_text += "----------【网络检索内容】-----------\n"
+        search_text += web_content
+        return '', history, history, search_text
+
+
+with open("assets/custom.css", "r", encoding="utf-8") as f:
+    customCSS = f.read()
+with gr.Blocks(css=customCSS, theme=small_and_beautiful_theme) as demo:
+    gr.Markdown("""<h1><center>Chinese-LangChain</center></h1>
+        <center><font size=3>
+        </center></font>
+        """)
+    state = gr.State()
+
+    with gr.Row():
+        with gr.Column(scale=1):
+            embedding_model = gr.Dropdown([
+                "text2vec-base"
+            ],
+                label="Embedding model",
+                value="text2vec-base")
+
+            large_language_model = gr.Dropdown(
+                [
+                    "ChatGLM-6B-int4",
+                ],
+                label="large language model",
+                value="ChatGLM-6B-int4")
+
+            top_k = gr.Slider(1,
+                              20,
+                              value=4,
+                              step=1,
+                              label="检索top-k文档",
+                              interactive=True)
+
+            use_web = gr.Radio(["使用", "不使用"], label="web search",
+                               info="是否使用网络搜索，使用时确保网络通常",
+                               value="不使用"
+                               )
+            use_pattern = gr.Radio(
+                [
+                    '模型问答',
+                    '知识库问答',
+                ],
+                label="模式",
+                value='模型问答',
+                interactive=True)
+
+            kg_name = gr.Radio(list(config.kg_vector_stores.keys()),
+                               label="知识库",
+                               value=None,
+                               info="使用知识库问答��请加载知识库",
+                               interactive=True)
+            set_kg_btn = gr.Button("加载知识库")
+
+            file = gr.File(label="将文件上传到知识库库，内容要尽量匹配",
+                           visible=True,
+                           file_types=['.txt', '.md', '.docx', '.pdf']
+                           )
+
+        with gr.Column(scale=4):
+            with gr.Row():
+                chatbot = gr.Chatbot(label='Chinese-LangChain').style(height=400)
+            with gr.Row():
+                message = gr.Textbox(label='请输入问题')
+            with gr.Row():
+                clear_history = gr.Button("🧹 清除历史对话")
+                send = gr.Button("🚀 发送")
+            with gr.Row():
+                gr.Markdown("""提醒：<br>
+                                        [Chinese-LangChain](https://github.com/yanqiangmiffy/Chinese-LangChain) <br>
+                                        有任何使用问题[Github Issue区](https://github.com/yanqiangmiffy/Chinese-LangChain)进行反馈. <br>
+                                        """)
+        with gr.Column(scale=2):
+            search = gr.Textbox(label='搜索结果')
+
+        # ============= 触发动作=============
+        file.upload(upload_file,
+                    inputs=file,
+                    outputs=None)
+        set_kg_btn.click(
+            set_knowledge,
+            show_progress=True,
+            inputs=[kg_name, chatbot],
+            outputs=chatbot
+        )
+        # 发送按钮 提交
+        send.click(predict,
+                   inputs=[
+                       message,
+                       large_language_model,
+                       embedding_model,
+                       top_k,
+                       use_web,
+                       use_pattern,
+                       state
+                   ],
+                   outputs=[message, chatbot, state, search])
+
+        # 清空历史对话按钮 提交
+        clear_history.click(fn=clear_session,
+                            inputs=[],
+                            outputs=[chatbot, state],
+                            queue=False)
+
+        # 输入框 回车
+        message.submit(predict,
+                       inputs=[
+                           message,
+                           large_language_model,
+                           embedding_model,
+                           top_k,
+                           use_web,
+                           use_pattern,
+                           state
+                       ],
+                       outputs=[message, chatbot, state, search])
+
+demo.queue(concurrency_count=2).launch(
+    server_name='0.0.0.0',
+    server_port=8888,
+    share=False,
+    show_error=True,
+    debug=True,
+    enable_queue=True,
+    inbrowser=True,
+)

requirements.txt

@@ -1,9 +1,11 @@
-protobuf
-transformers==4.30.2
-cpm_kernels
-torch>=2.0
-# gradio
+langchain
+gradio
+transformers
+sentence_transformers
+faiss-cpu
+unstructured
+duckduckgo_search
 mdtex2html
-sentencepiece
-accelerate
-loguru
+chardet
+cchardet
+cpm_kernels

tests/test_duckduckgo_search.py

@@ -0,0 +1,16 @@
+from duckduckgo_search import ddg
+from duckduckgo_search.utils import SESSION
+
+
+SESSION.proxies = {
+    "http": f"socks5h://localhost:7890",
+    "https": f"socks5h://localhost:7890"
+}
+r = ddg("马保国")
+print(r[:2])
+"""
+[{'title': '马保国 - 维基百科，自由的百科全书', 'href': 'https://zh.wikipedia.org/wiki/%E9%A9%AC%E4%BF%9D%E5%9B%BD', 'body': '马保国（1951年 — ） ，男，籍贯 山东 临沂，出生及长大于河南，中国大陆太极拳师，自称"浑元形意太极门掌门人" 。 马保国因2017年约战mma格斗家徐晓冬首次出现
+大众视野中。 2020年5月，马保国在对阵民间武术爱好者王庆民的比赛中，30秒内被连续高速击倒三次，此事件成为了持续多日的社交 ...'}, {'title': '馬保國的主页 - 抖音', 'href': 'https://www.douyin.com/user/MS4wLjABAAAAW0E1ziOvxgUh3VVv5FE6xmoo3w5WtZalfphYZKj4mCg', 'body': '6.3万. #马马国教扛打功 最近有几个人模芳我动作，很危险啊，不可以的，朋友们不要受伤了。. 5.3万. #马保国直播带货榜第一 朋友们周末愉快，本周六早上湿点，我本人在此号进行第一次带货直播，活到老，学到老，越活越年轻。. 7.0万. #马保国击破红牛罐 昨天 ...'}]
+
+
+"""

tests/test_duckpy.py

@@ -0,0 +1,15 @@
+from duckpy import Client
+
+client = Client()
+
+results = client.search("Python Wikipedia")
+
+# Prints first result title
+print(results[0].title)
+
+# Prints first result URL
+print(results[0].url)
+
+# Prints first result description
+print(results[0].description)
+# https://github.com/AmanoTeam/duckpy

tests/test_gradio_slient.py

@@ -0,0 +1,19 @@
+import time
+
+import gradio as gra
+
+
+def user_greeting(name):
+    time.sleep(10)
+    return "Hi! " + name + " Welcome to your first Gradio application!😎"
+
+
+# define gradio interface and other parameters
+app = gra.Interface(
+    fn=user_greeting,
+    inputs="text",
+    outputs="text",
+)
+app.launch(
+    server_name='0.0.0.0', server_port=8888, share=False,show_error=True, enable_queue=True
+)

tests/test_langchain.py

@@ -0,0 +1,36 @@
+import os
+
+from langchain.document_loaders import UnstructuredFileLoader
+from langchain.embeddings.huggingface import HuggingFaceEmbeddings
+from langchain.vectorstores import FAISS
+
+embedding_model_name = '/home/searchgpt/pretrained_models/ernie-gram-zh'
+docs_path = '/home/searchgpt/yq/Knowledge-ChatGLM/docs'
+embeddings = HuggingFaceEmbeddings(model_name=embedding_model_name)
+
+docs = []
+
+for doc in os.listdir(docs_path):
+    if doc.endswith('.txt'):
+        print(doc)
+        loader = UnstructuredFileLoader(f'{docs_path}/{doc}', mode="elements")
+        doc = loader.load()
+        docs.extend(doc)
+
+vector_store = FAISS.from_documents(docs, embeddings)
+vector_store.save_local('vector_store_local')
+search_result = vector_store.similarity_search_with_score(query='科比', k=2)
+print(search_result)
+
+loader = UnstructuredFileLoader(f'{docs_path}/added/马保国.txt', mode="elements")
+doc = loader.load()
+vector_store.add_documents(doc)
+print(doc)
+search_result = vector_store.similarity_search_with_score(query='科比·布莱恩特', k=2)
+print(search_result)
+
+"""
+[(Document(page_content='王治郅，1977年7月8日出生于北京，前中国篮球运动员，司职大前锋/中锋，现已退役。 [1]', metadata={'source': 'docs/王治郅.txt', 'filename': 'docs/王治郅.txt', 'category': 'Title'}), 285.40765), (Document(page_content='王治郅是中国篮球界进入NBA的第一人，被评选为中国篮坛50大杰出人物和中国申办奥运特使。他和姚明、蒙克·巴特尔一起，被称为篮球场上的“移动长城”。 [5]', metadata={'source': 'docs/王治郅.txt', 'filename': 'docs/王治郅.txt', 'category': 'NarrativeText'}), 290.19086)]
+[Document(page_content='科比·布莱恩特（Kobe Bryant，1978年8月23日—2020年1月26日），全名科比·比恩·布莱恩特·考克斯（Kobe Bean Bryant Cox），出生于美国宾夕法尼亚州费城，美国已故篮球运动员，司职得分后卫/小前锋。 [5]  [24]  [84]', metadata={'source': 'docs/added/科比.txt', 'filename': 'docs/added/科比.txt', 'category': 'NarrativeText'}), Document(page_content='1996年NBA选秀，科比于第1轮第13顺位被夏洛特黄蜂队选中并被交易至洛杉矶湖人队，整个NBA生涯都效力于洛杉矶湖人队；共获得5次NBA总冠军、1次NBA常规赛MVP、2次NBA总决赛MVP、4次NBA全明星赛MVP、2次NBA赛季得分王；共入选NBA全明星首发阵容18次、NBA最佳阵容15次（其中一阵11次、二阵2次、三阵2次）、NBA最佳防守阵容12次（其中一阵9次、二阵3次）。 [9]  [24]', metadata={'source': 'docs/added/科比.txt', 'filename': 'docs/added/科比.txt', 'category': 'Title'}), Document(page_content='2007年，科比首次入选美国国家男子篮球队，后帮助美国队夺得2007年美洲男篮锦标赛金牌、2008年北京奥运会男子篮球金牌以及2012年伦敦奥运会男子篮球金牌。 [91]', metadata={'source': 'docs/added/科比.txt', 'filename': 'docs/added/科比.txt', 'category': 'Title'}), Document(page_content='2015年11月30日，科比发文宣布将在赛季结束后退役。 [100]  2017年12月19日，湖人队为科比举行球衣退役仪式。 [22]  2020年4月5日，科比入选奈·史密斯篮球名人纪念堂。 [7]', metadata={'source': 'docs/added/科比.txt', 'filename': 'docs/added/科比.txt', 'category': 'Title'}), Document(page_content='美国时间2020年1月26日（北京时间2020年1月27日），科比因直升机事故遇难，享年41岁。 [23]', metadata={'source': 'docs/added/科比.txt', 'filename': 'docs/added/科比.txt', 'category': 'Title'})]
+[(Document(page_content='科比·布莱恩特（Kobe Bryant，1978年8月23日—2020年1月26日），全名科比·比恩·布莱恩特·考克斯（Kobe Bean Bryant Cox），出生于美国宾夕法尼亚州费城，美国已故篮球运动员，司职得分后卫/小前锋。 [5]  [24]  [84]', metadata={'source': 'docs/added/科比.txt', 'filename': 'docs/added/科比.txt', 'category': 'NarrativeText'}), 179.68744), (Document(page_content='2015年11月30日，科比发文宣布将在赛季结束后退役。 [100]  2017年12月19日，湖人队为科比举行球衣退役仪式。 [22]  2020年4月5日，科比入选奈·史密斯篮球名人纪念堂。 [7]', metadata={'source': 'docs/added/科比.txt', 'filename': 'docs/added/科比.txt', 'category': 'Title'}), 200.57565)]
+"""

tests/test_vector_store.py

@@ -0,0 +1,11 @@
+from langchain.embeddings.huggingface import HuggingFaceEmbeddings
+from langchain.vectorstores import FAISS
+
+# 中文Wikipedia数据导入示例：
+embedding_model_name = '/root/pretrained_models/ernie-gram-zh'
+embeddings = HuggingFaceEmbeddings(model_name=embedding_model_name)
+
+vector_store = FAISS.load_local("/root/GoMall/Knowledge-ChatGLM/cache/zh_wikipedia", embeddings)
+print(vector_store)
+res = vector_store.similarity_search_with_score('闫强')
+print(res)