sync github

app.py

@@ -16,9 +16,28 @@ from llama_index.vector_stores.chroma import ChromaVectorStore
 import chromadb
 import nest_asyncio
 
-
-
 import os
+from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
+from llama_index.llms.huggingface import HuggingFaceLLM
+from llama_index.llms.huggingface_api import HuggingFaceInferenceAPI
+from llama_index.core import Settings
+from typing import List, Optional
+from llama_index.core import PromptTemplate
+import torch
+from llama_index.embeddings.huggingface import HuggingFaceEmbedding
+import huggingface_hub
+
+import logging
+import sys
+from PIL import Image
+
+#Token do huggingface
+HF_TOKEN: Optional[str] = os.getenv("HF_TOKEN")    
+huggingface_hub.login(HF_TOKEN)
+#Configuração da imagem da aba
+
+im = Image.open("./pngegg.png")
+st.set_page_config(page_title = "Chatbot Carômetro", page_icon=im, layout = "wide")
 
 # Lista de pastas que precisam ser criadas
 pastas = ["bm25_retriever", "chat_store", "chroma_db", "documentos"]
@@ -35,7 +54,24 @@ for pasta in pastas:
 
 # Configuração do Streamlit
 st.sidebar.title("Configuração de LLM")
-sidebar_option = st.sidebar.radio("Selecione o LLM", ["Ollama", "OpenAI"])
+sidebar_option = st.sidebar.radio("Selecione o LLM", ["Ollama", "OpenAI", "HF Local"])
+# logo_url = 'app\logos\logo-sicoob.jpg'
+# st.sidebar.image(logo_url)
+import base64
+
+#Configuração da imagem da sidebar
+with open("sicoob-logo.png", "rb") as f:
+    data = base64.b64encode(f.read()).decode("utf-8")
+
+    st.sidebar.markdown(
+        f"""
+        <div style="display:table;margin-top:-80%;margin-left:0%;">
+            <img src="data:image/png;base64,{data}" width="250" height="70">
+        </div>
+        """,
+        unsafe_allow_html=True,
+    )
+
 
 if sidebar_option == "Ollama":
     Settings.llm = Ollama(model="llama3.2:latest", request_timeout=500.0, num_gpu=1)
@@ -43,9 +79,50 @@ if sidebar_option == "Ollama":
 elif sidebar_option == "OpenAI":
     from llama_index.llms.openai import OpenAI
     from llama_index.embeddings.openai import OpenAIEmbedding
-    os.environ["OPENAI_API_KEY"] = "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"
     Settings.llm = OpenAI(model="gpt-3.5-turbo")
     Settings.embed_model = OpenAIEmbedding(model_name="text-embedding-ada-002")
+elif sidebar_option == 'HF Local':
+
+    logging.basicConfig(stream=sys.stdout, level=logging.INFO)
+    logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))
+
+    query_wrapper_prompt = PromptTemplate(
+     "Você é um assistente virtual capaz de interagir normalmente, além de"
+        " fornecer informações sobre organogramas e listar funcionários."
+        " Aqui estão os documentos relevantes para o contexto:\n"
+        "{context_str}"
+        "\nInstrução: Use o histórico da conversa anterior, ou o contexto acima, para responder."
+    )
+    #Embedding do huggingface
+    Settings.embed_model = HuggingFaceEmbedding(
+    model_name="BAAI/bge-small-en-v1.5"
+    )
+
+    #Carregamento do modelo local, descomentar o modelo desejado
+    llm = HuggingFaceLLM(
+        # context_window=2048,
+        # max_new_tokens=256,
+        # generate_kwargs={"do_sample": False},
+        # query_wrapper_prompt=query_wrapper_prompt,
+        #model_name="Qwen/Qwen2.5-Coder-32B-Instruct",
+        #model_name="Qwen/Qwen2.5-14B-Instruct",
+        # model_name="meta-llama/Llama-3.2-3B",
+        #model_name="HuggingFaceH4/zephyr-7b-beta",
+        # model_name="meta-llama/Meta-Llama-3-8B",
+        #model_name="numind/NuExtract-1.5",
+        model_name="meta-llama/Llama-3.1-8B",
+        
+        tokenizer_name="meta-llama/Llama-3.1-8B",
+        device_map="auto",
+        # tokenizer_kwargs={"max_length": 2048},
+        # uncomment this if using CUDA to reduce memory usage
+        model_kwargs={"torch_dtype": torch.float16},
+    )
+
+
+    # Settings.chunk_size = 512
+    Settings.llm = llm
+
 else:
     raise Exception("Opção de LLM inválida!")
 
@@ -139,8 +216,8 @@ else:
     chat_store.persist(persist_path=chat_store_path)
 
 # Interface do Chatbot
-st.title("Chatbot Local")
-st.write("Este chatbot utiliza RAG Fusion e técnicas de re-ranking para responder com informações relevantes.")
+st.title("Chatbot Carômetro")
+st.write("Este chatbot pode te ajudar a conseguir informações relevantes sobre os carômetros da Sicoob.")
 if "chat_history" not in st.session_state:
     st.session_state.chat_history = []