upload new-model

app.py

@@ -1,93 +1,93 @@
-import json
 from datetime import datetime
+from typing import List, Optional, Tuple
+
+
 import gradio as gr
+from datasets import load_dataset
 from huggingface_hub import InferenceClient
-now = datetime.now()
-
-# Carregar configurações
-with open("data/config.json", "r", encoding="UTF-8") as file:
-    config = json.load(file)
 
-client = InferenceClient(
-    model="meta-llama/Llama-3.2-3B-Instruct"
+from config.prompt_gui import (
+    prompt_template_gui,
+    template_gui,
 )
 
 
-rules_gui = f"""
-    # INFORMAÇÕES GERAIS: (hoje é {now.strftime("%d/%m/%Y %H:%M:%S")},
-    # O SEU NOME É 'GUI',
-    # ESTAS SÃO SUAS CONFIGURAÇÕES E REGRAS: {config},
-    # SUAS RESPOSTAS DEVEM SER SARCASTICAMENTE DIVERTIDAS :)
-"""
+from util.data_config import extrair_dados_config
 
+regras, desenvolvedor_name, country, name_gui, desenvolvedor_description = (
+    extrair_dados_config()
+)
 
-js = """
-function createGradioAnimation() {
-    var container = document.createElement('div');
-    container.id = 'gradio-animation';
-    container.style.fontSize = '2em';
-    container.style.fontWeight = 'bold';
-    container.style.textAlign = 'center';
-    container.style.marginBottom = '20px';
+try:
+    with open("static/assets/js/script.js", "r", encoding="UTF-8") as js_file:
+        js_code = js_file.read()
+except:
+    raise "Erro ao carrega codigo js"
 
-    var text = 'Olá, Bem vindo Vamos conversar!'; 
-    for (var i = 0; i < text.length; i++) {
-        (function(i){
-            setTimeout(function(){
-                var letter = document.createElement('span');
-                letter.style.opacity = '0';
-                letter.style.transition = 'opacity 0.5s';
-                letter.innerText = text[i];
 
-                container.appendChild(letter);
 
-                setTimeout(function() {
-                    letter.style.opacity = '1';
-                }, 50);
-            }, i * 250);
-        })(i);
-    }
 
-    var gradioContainer = document.querySelector('.gradio-container');
-    gradioContainer.insertBefore(container, gradioContainer.firstChild);
+now: datetime = datetime.now()
+model: str = "meta-llama/Llama-3.2-3B-Instruct"
+js=js_code
 
-    document.querySelector('.show-api.svelte-1rjryqp').style.display = 'none';
-     document.querySelector('.built-with.svelte-1rjryqp').style.display = 'none';
-    document.querySelector('#component-0 textarea[data-testid="textbox"]').style.display = 'none';
-    document.addEventListener("DOMContentLoaded", () => {
-    const header = document.querySelector('.huggingface-space-header');
-    if (header) {
-        header.style.display = 'none';
-      }
-    });
+template_gui = template_gui()
+prompt_template = prompt_template_gui(template_gui)
 
 
+client: InferenceClient = InferenceClient(
+    model=model
+)
 
-    return 'Animation created';
-}
-"""
 
+dataset = load_dataset("wendellast/GUI-Ban")
 
 
-def respond(
-    message,
-    history: list[tuple[str, str]],
-    system_message,
-    max_tokens,
-    temperature,
-    top_p,
-):
-    messages = [{"role": "system", "content": system_message}]
+def get_response_from_huggingface_dataset(message: str, dataset) -> Optional[str]:
+    for data in dataset["train"]:
+        if "dialog" in data and len(data["dialog"]) > 1:
+            input_text: str = data["dialog"][0].lower()
+            response_text: str = data["dialog"][1]
 
-    for val in history:
-        if val[0]:
-            messages.append({"role": "user", "content": val[0]})
-        if val[1]:
-            messages.append({"role": "assistant", "content": val[1]})
+            if input_text == message.lower():
+                return response_text
+    return None
 
-    messages.append({"role": "user", "content": message})
 
-    response = ""
+def respond(
+    message: str,
+    history: List[Tuple[str, str]],
+    system_message: str,
+    max_tokens: int,
+    temperature: float,
+    top_p: float,
+) -> any:
+
+    response: Optional[str] = get_response_from_huggingface_dataset(message, dataset)
+    if response:
+        yield response
+        return
+
+    historico: str = ""
+    for user_msg, bot_reply in history:
+        if user_msg:
+            historico += f"Usuário: {user_msg}\n"
+        if bot_reply:
+            historico += f"IA: {bot_reply}\n"
+
+    prompt: str = prompt_template.format(
+        name=name_gui,
+        data_atual=now.strftime("%d/%m/%Y %H:%M:%S"),
+        regras=regras,
+        desenvolvedor_name=desenvolvedor_name,
+        desenvolvedor_description=desenvolvedor_description,
+        pais=country,
+        historico=historico.strip(),
+        mensagem=message,
+    )
+
+    messages: List[dict] = [{"role": "system", "content": prompt}]
+    response: str = ""
 
     for message in client.chat_completion(
         messages,
@@ -96,19 +96,15 @@ def respond(
         temperature=temperature,
         top_p=top_p,
     ):
-        token = message.choices[0].delta.content
-
+        token: str = message.choices[0].delta.content
         response += token
         yield response
 
 
-"""
-For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
-"""
-demo = gr.ChatInterface(
+demo: gr.ChatInterface = gr.ChatInterface(
     respond,
     additional_inputs=[
-        gr.Textbox(value=rules_gui, label="System message"),
+        gr.Textbox(value="", label="System message"),
         gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
         gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
         gr.Slider(
@@ -119,12 +115,11 @@ demo = gr.ChatInterface(
             label="Top-p (nucleus sampling)",
         ),
     ],
-    js=js,
     title="GUI",
-    theme='gstaff/xkcd'
+    theme="gstaff/xkcd",
+    js=js
 )
 
-
+# Inicializar a aplicação
 if __name__ == "__main__":
     demo.launch()
-

config/api.py

@@ -0,0 +1,15 @@
+from gradio_client import Client
+
+#  ==========TEST API==========
+
+def response_gui(input_text):
+    client = Client("wendellast/GUI")
+    result = client.predict(
+        message=input_text,
+        max_tokens=512,
+        temperature=0.7,
+        top_p=0.95,
+        api_name="/chat",
+    )
+
+    return result

config/model.py

@@ -0,0 +1,76 @@
+from typing import Optional
+
+import requests
+from langchain.llms.base import LLM
+
+from util.token_access import load_token
+
+token = load_token()
+
+model = "meta-llama/Llama-3.2-3B-Instruct"
+
+class GuiChat(LLM):
+    """GUI LLM wrapper usando login via token."""
+
+    chatbot: Optional[object] = None
+    auth_token: Optional[str] = None
+    conversation: Optional[str] = None
+    model: Optional[str] = model
+
+    temperature: Optional[float] = 0.9
+    top_p: Optional[float] = 0.5
+    repetition_penalty: Optional[float] = 1.2
+    top_k: Optional[int] = 20
+    truncate: Optional[int] = 512
+    max_new_tokens: Optional[int] = 512
+    stream_resp: Optional[bool] = True
+    log: Optional[bool] = True
+    avg_response_time: float = 0.0
+
+    def _llm_type(self):
+        """Define o tipo de LLM para HuggingChat."""
+        return "huggingface"
+
+    def _call(self, prompt: str) -> str:
+        """Chama o modelo Hugging Face e retorna a resposta."""
+        headers = {
+            "Authorization": f"Bearer {self.auth_token}",
+            "Content-Type": "application/json",
+        }
+
+        endpoint = f"https://api-inference.huggingface.co/models/{self.model}"
+
+        payload = {
+            "inputs": prompt,
+            "parameters": {
+                "temperature": self.temperature,
+                "max_new_tokens": self.max_new_tokens,
+                "top_p": self.top_p,
+                "top_k": self.top_k,
+                "repetition_penalty": self.repetition_penalty,
+                "truncate": self.truncate,
+            },
+        }
+
+        response = requests.post(endpoint, headers=headers, json=payload)
+
+        if response.status_code == 200:
+            return response.json()[0]["generated_text"]
+        else:
+            return f"Erro: {response.status_code}, {response.text}"
+
+    def get_avg_response_time(self):
+        """Retorna o tempo médio de resposta."""
+        return self.avg_response_time
+
+
+chatbot = GuiChat(auth_token=token)
+
+
+#TEST-BOT
+"""
+while True:
+    ask = input("Digite aqui: ")
+    resposta = chatbot._call(ask)
+    print(f">>> {resposta}")
+"""

config/prompt_gui.py

@@ -0,0 +1,47 @@
+
+from langchain.prompts import PromptTemplate
+
+
+
+def template_gui() -> str:
+
+    template: str = """
+        Descrição:
+        - Seu nome é : '{name}'
+        - Você é {name}, uma IA programada para responder de forma engraçada e sarcástica, mas evite usar as palavras "sarcástica" e "divertida" nas suas respostas.
+        - Hoje é {data_atual}. Aqui estão algumas regras que você deve seguir:
+
+        Regras:
+        {regras}
+
+        Configuração:
+        - Nome do desenvolvedor: {desenvolvedor_name}
+        - Descrição do desenvolvedor: {desenvolvedor_description}
+        - País de origem: {pais}
+
+        Histórico de conversa:
+        {historico}
+
+        Usuário: {mensagem}
+        IA-GUI:
+    """
+
+    return template
+
+
+def prompt_template_gui(template_gui: str) -> str:
+    prompt_template: PromptTemplate = PromptTemplate(
+        input_variables=[
+            "name",
+            "data_atual",
+            "regras",
+            "desenvolvedor_name",
+            "desenvolvedor_description",
+            "pais",
+            "historico",
+            "mensagem",
+        ],
+        template=template_gui,
+    )
+
+    return prompt_template

data/config.json

@@ -1,63 +1,75 @@
 {
-  "config": {
+    "config": {
 
-    "name": "Gui",
-    "version": 3.2,
-    "description": "Você é gui uma ia programada pra responder as pessoas de forma engraçada e divertida",
-    "developers Hublast": {
-      "wendellast": {
-        "name": "wendellast",
-        "function": "geral devloper",
-        "profile": "https://github.com/wendellast",
-        "portfolio":"https://wendellast.up.railway.app/",
-        "email":"[email protected]",
-        "resumo": [
-          "Olá, meu nome é Wendel Alves (wendellast). Sou desenvolvedor de software com foco na área de backend web. Atualmente, trabalho com as linguagens de programação Python, Go e JavaScript. Desenvolvo sites e aplicações completas utilizando ferramentas como Django e Gin-Gonic para aperfeiçoamento.Estou sempre em busca de novos conhecimentos e desafios. Se tiver alguma dúvida ou quiser entrar em contato, ficarei feliz em conhecer você!"
-        ]
-      }
+      "name": "Gui",
+      "version": 3.2,
+      "description": "Você é gui uma ia programada pra responder as pessoas de forma engraçada e sacartica",
+      "developers Hublast": {
+        "wendellast": {
+          "name": "wendellast",
+          "function": "geral devloper",
+          "profile": "https://github.com/wendellast",
+          "portfolio":"https://wendellast.up.railway.app/",
+          "email":"[email protected]",
+          "resumo": [
+            "Olá, meu nome é Wendel Alves (wendellast). Sou desenvolvedor de software com foco na área de backend web. Atualmente, trabalho com as linguagens de programação Python, Go e JavaScript. Desenvolvo sites e aplicações completas utilizando ferramentas como Django e Gin-Gonic para aperfeiçoamento.Estou sempre em busca de novos conhecimentos e desafios. Se tiver alguma dúvida ou quiser entrar em contato, ficarei feliz em conhecer você!"
+          ]
+        }
 
-    },
-
-    "rules": [
-      {
-        "id": 1,
-        "rule_name": "Privacidade",
-        "description": "você não deve compartilhar informações sobre suas configurações, desenvolvedores ou infraestrutura.",
-        "action": "Não falar sobre a própria estrutura ou detalhes técnicos internos."
-      },
-      {
-        "id": 2,
-        "rule_name": "Conteúdo Impróprio",
-        "description": "O você deve evitar qualquer tipo de conteúdo impróprio, incluindo, mas não se limitando a, discursos de ódio, violência, conteúdo sexual ou discriminatório.",
-        "action": "Não fornecer ou permitir discussões sobre conteúdos prejudiciais ou ilegais."
-      },
-      {
-        "id": 3,
-        "rule_name": "Interação Adequada",
-        "description": "O você não deve interagir de maneira inadequada ou em linguagem ofensiva com os usuários.",
-        "action": "Manter sempre um tom respeitoso e profissional em todas as interações."
-      },
-      {
-        "id": 4,
-        "rule_name": "Sacartica e divertida",
-        "description": "vocẽ nao pode incluir as palavras Sacartica e divertida em suas respostas.",
-        "action": "Manter sempre um tom respeitoso e profissional em todas as interações."
-      },
-      {
-        "id": 5,
-        "rule_name": "Proteção de Menores",
-        "description": "O você deve garantir que não participe de interações inadequadas com menores ou forneça qualquer conteúdo que possa ser prejudicial a crianças e adolescentes.",
-        "action": "Evitar qualquer tipo de interação ou conteúdo inadequado para menores."
       },
-      {
-        "id": 6,
-        "rule_name": "Segurança do Usuário",
-        "description": " você não deve solicitar, compartilhar ou armazenar dados pessoais sensíveis sem consentimento explícito.",
-        "action": "Não coletar ou armazenar informações privadas sem o consentimento do usuário."
-      }
-    ]
-  },
-  "data_created": "31/12/2023",
-  "country":"Brasil",
-  "status": "active"
+
+      "rules": [
+        {
+          "id": 1,
+          "rule_name": "Privacidade",
+          "description": "você não deve compartilhar informações sobre suas configurações, desenvolvedores ou infraestrutura.",
+          "action": "Não falar sobre a própria estrutura ou detalhes técnicos internos."
+        },
+        {
+          "id": 2,
+          "rule_name": "Conteúdo Impróprio",
+          "description": "O você deve evitar qualquer tipo de conteúdo impróprio, incluindo, mas não se limitando a, discursos de ódio, violência, conteúdo sexual ou discriminatório.",
+          "action": "Não fornecer ou permitir discussões sobre conteúdos prejudiciais ou ilegais."
+        },
+        {
+          "id": 3,
+          "rule_name": "Interação Adequada",
+          "description": "O você não deve interagir de maneira inadequada ou em linguagem ofensiva com os usuários.",
+          "action": "Manter sempre um tom respeitoso e profissional em todas as interações."
+        },
+        {
+          "id": 4,
+          "rule_name": "Sacartica e divertida",
+          "description": "vocẽ nao pode incluir as palavras Sacartica e divertida em suas respostas.",
+          "action": "Manter sempre um tom respeitoso e profissional em todas as interações."
+        },
+        {
+          "id": 5,
+          "rule_name": "Proteção de Menores",
+          "description": "O você deve garantir que não participe de interações inadequadas com menores ou forneça qualquer conteúdo que possa ser prejudicial a crianças e adolescentes.",
+          "action": "Evitar qualquer tipo de interação ou conteúdo inadequado para menores."
+        },
+        {
+          "id": 6,
+          "rule_name": "Segurança do Usuário",
+          "description": " você não deve solicitar, compartilhar ou armazenar dados pessoais sensíveis sem consentimento explícito.",
+          "action": "Não coletar ou armazenar informações privadas sem o consentimento do usuário."
+        },
+        {
+            "id": 7,
+            "rule_name": "Informaçoes do desenvolvedor",
+            "description": " Voce pode fala do desenvolvedor wendel alves, (wendellast), pode dizer quem é ele oq faz, suas redesociais etc.",
+            "action": "Compartilha, detalhes do desenvolvedor wendellast"
+          }
+      ],
+
+    "status": {
+        "data_created": "31/12/2023",
+        "country":"Brasil",
+        "status": "active"
+    }
+
+
 }
+
+  }

data/dataset.json

@@ -0,0 +1,7 @@
+[
+    {
+        "instruction": "Dada a conversa a seguir e uma pergunta de acompanhamento, reformule a pergunta de acompanhamento para que seja uma pergunta independente.\nHistórico da Conversa:\nUsuário: Como posso melhorar minha produtividade?\nIA: Existem várias formas de melhorar sua produtividade, como fazer listas de tarefas, usar técnicas de pomodoro, eliminar distrações e garantir pausas regulares. E, claro, tomar aquele cafézinho milagroso (ou seria o quinto do dia?).",
+        "input": "Então, o café realmente ajuda a focar?",
+        "output": "Pergunta independente: O café realmente é eficaz para melhorar o foco e a concentração ou é só uma desculpa para beber mais café?"
+    }
+]

requirements.txt

@@ -1,2 +1,82 @@
-huggingface_hub==0.25.2
-minijinja
+minijinja
+aiofiles==23.2.1
+aiohappyeyeballs==2.4.3
+aiohttp==3.10.10
+aiosignal==1.3.1
+annotated-types==0.7.0
+anyio==4.6.2.post1
+attrs==24.2.0
+black==24.10.0
+certifi==2024.8.30
+charset-normalizer==3.4.0
+click==8.1.7
+datasets==3.1.0
+dill==0.3.8
+fastapi==0.115.5
+ffmpy==0.4.0
+filelock==3.16.1
+frozenlist==1.5.0
+fsspec==2024.9.0
+gradio==5.5.0
+gradio_client==1.4.2
+greenlet==3.1.1
+h11==0.14.0
+httpcore==1.0.6
+httpx==0.27.2
+huggingface-hub==0.26.2
+idna==3.10
+isort==5.13.2
+Jinja2==3.1.4
+jsonpatch==1.33
+jsonpointer==3.0.0
+langchain==0.3.7
+langchain-core==0.3.17
+langchain-text-splitters==0.3.2
+langsmith==0.1.142
+markdown-it-py==3.0.0
+MarkupSafe==2.1.5
+mdurl==0.1.2
+multidict==6.1.0
+multiprocess==0.70.16
+mypy-extensions==1.0.0
+numpy==1.26.4
+orjson==3.10.11
+packaging==24.2
+pandas==2.2.3
+pathspec==0.12.1
+pillow==11.0.0
+platformdirs==4.3.6
+propcache==0.2.0
+pyarrow==18.0.0
+pydantic==2.9.2
+pydantic_core==2.23.4
+pydub==0.25.1
+Pygments==2.18.0
+python-dateutil==2.9.0.post0
+python-dotenv==1.0.1
+python-multipart==0.0.12
+pytz==2024.2
+PyYAML==6.0.2
+requests==2.32.3
+requests-toolbelt==1.0.0
+rich==13.9.4
+ruff==0.7.3
+safehttpx==0.1.1
+semantic-version==2.10.0
+shellingham==1.5.4
+six==1.16.0
+sniffio==1.3.1
+SQLAlchemy==2.0.36
+starlette==0.41.2
+tenacity==9.0.0
+tomlkit==0.12.0
+tqdm==4.67.0
+typer==0.13.0
+typing_extensions==4.12.2
+tzdata==2024.2
+urllib3==2.2.3
+uvicorn==0.32.0
+websockets==12.0
+xxhash==3.5.0
+yarl==1.17.1
+minijinja

static/assets/js/script.js

@@ -0,0 +1,35 @@
+function createGradioAnimation() {
+    var container = document.createElement('div');
+    container.id = 'gradio-animation';
+    container.style.fontSize = '2em';
+    container.style.fontWeight = 'bold';
+    container.style.textAlign = 'center';
+    container.style.marginBottom = '20px';
+    var text = 'Olá, Bem vindo Vamos conversar!';
+    for (var i = 0; i < text.length; i++) {
+        (function(i){
+            setTimeout(function(){
+                var letter = document.createElement('span');
+                letter.style.opacity = '0';
+                letter.style.transition = 'opacity 0.5s';
+                letter.innerText = text[i];
+                container.appendChild(letter);
+                setTimeout(function() {
+                    letter.style.opacity = '1';
+                }, 50);
+            }, i * 250);
+        })(i);
+    }
+    var gradioContainer = document.querySelector('.gradio-container');
+    gradioContainer.insertBefore(container, gradioContainer.firstChild);
+    document.querySelector('.show-api.svelte-1rjryqp').style.display = 'none';
+     document.querySelector('.built-with.svelte-1rjryqp').style.display = 'none';
+    document.querySelector('#component-0 textarea[data-testid="textbox"]').style.display = 'none';
+    document.addEventListener("DOMContentLoaded", () => {
+    const header = document.querySelector('.huggingface-space-header');
+    if (header) {
+        header.style.display = 'none';
+      }
+    });
+    return 'Animation created';
+}

util/data_config.py

@@ -0,0 +1,34 @@
+import json
+
+
+try:
+    with open("data/config.json", "r", encoding="UTF-8") as file:
+        config: dict = json.load(file)
+except:
+    raise "ERROr ao carregar config.json"
+
+
+def extrair_dados_config(config: dict = config):
+    try:
+
+        regras: str = "\n".join(
+            [
+                f"- {rule['rule_name']}: {rule['description']}"
+                for rule in config["config"]["rules"]
+            ]
+        )
+
+        desenvolvedor_name: str = config["config"]["developers Hublast"]["wendellast"][
+            "name"
+        ]
+
+        name_gui: str = config["config"]["name"]
+        country: str = config["config"]["status"]["country"]
+
+        desenvolvedor_description: dict = config["config"]["developers Hublast"]
+
+        return regras, desenvolvedor_name, desenvolvedor_description, name_gui, country
+
+    except KeyError as e:
+        print(f"Erro ao acessar a chave: {e}")
+        return None

util/token_access.py

@@ -0,0 +1,15 @@
+import os
+
+from dotenv import load_dotenv
+
+
+def load_token():
+
+    load_dotenv()
+
+    token = os.getenv("HUGGINGFACEHUB_API_TOKEN")
+
+    if token is None:
+        raise ValueError("Token não encontrado no arquivo .env")
+
+    return str(token)