sindlinger commited on
Commit
f97cf0a
1 Parent(s): c913016

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +10 -6
app.py CHANGED
@@ -1,20 +1,24 @@
 
1
  import gradio as gr
2
  from transformers import AutoModelForCausalLM, AutoTokenizer
3
  import torch
4
 
 
 
 
5
  # Carregar os modelos disponíveis
6
  models = {
7
  "GPT-MUX (Code)": {
8
- "tokenizer": AutoTokenizer.from_pretrained("EleutherAI/gpt-neox-20b"),
9
- "model": AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neox-20b", torch_dtype=torch.float16, device_map="auto")
10
  },
11
  "Mistral": {
12
- "tokenizer": AutoTokenizer.from_pretrained("mistral_model_endpoint"),
13
- "model": AutoModelForCausalLM.from_pretrained("mistral_model_endpoint")
14
  },
15
  "CodeLlama": {
16
- "tokenizer": AutoTokenizer.from_pretrained("codellama_model_endpoint"),
17
- "model": AutoModelForCausalLM.from_pretrained("codellama_model_endpoint")
18
  }
19
  # Outros modelos podem ser adicionados aqui futuramente
20
  }
 
1
+ import os
2
  import gradio as gr
3
  from transformers import AutoModelForCausalLM, AutoTokenizer
4
  import torch
5
 
6
+ # Inserir a chave da API da Hugging Face
7
+ os.environ["HF_API_TOKEN"] = "sua_chave_da_api_aqui"
8
+
9
  # Carregar os modelos disponíveis
10
  models = {
11
  "GPT-MUX (Code)": {
12
+ "tokenizer": AutoTokenizer.from_pretrained("EleutherAI/gpt-neox-20b", use_auth_token=True),
13
+ "model": AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neox-20b", torch_dtype=torch.float16, device_map="auto", use_auth_token=True)
14
  },
15
  "Mistral": {
16
+ "tokenizer": AutoTokenizer.from_pretrained("mistral_model_endpoint", use_auth_token=True),
17
+ "model": AutoModelForCausalLM.from_pretrained("mistral_model_endpoint", use_auth_token=True)
18
  },
19
  "CodeLlama": {
20
+ "tokenizer": AutoTokenizer.from_pretrained("codellama_model_endpoint", use_auth_token=True),
21
+ "model": AutoModelForCausalLM.from_pretrained("codellama_model_endpoint", use_auth_token=True)
22
  }
23
  # Outros modelos podem ser adicionados aqui futuramente
24
  }