Spaces:
Sleeping
Sleeping
sindlinger
commited on
Commit
•
f97cf0a
1
Parent(s):
c913016
Update app.py
Browse files
app.py
CHANGED
@@ -1,20 +1,24 @@
|
|
|
|
1 |
import gradio as gr
|
2 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
3 |
import torch
|
4 |
|
|
|
|
|
|
|
5 |
# Carregar os modelos disponíveis
|
6 |
models = {
|
7 |
"GPT-MUX (Code)": {
|
8 |
-
"tokenizer": AutoTokenizer.from_pretrained("EleutherAI/gpt-neox-20b"),
|
9 |
-
"model": AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neox-20b", torch_dtype=torch.float16, device_map="auto")
|
10 |
},
|
11 |
"Mistral": {
|
12 |
-
"tokenizer": AutoTokenizer.from_pretrained("mistral_model_endpoint"),
|
13 |
-
"model": AutoModelForCausalLM.from_pretrained("mistral_model_endpoint")
|
14 |
},
|
15 |
"CodeLlama": {
|
16 |
-
"tokenizer": AutoTokenizer.from_pretrained("codellama_model_endpoint"),
|
17 |
-
"model": AutoModelForCausalLM.from_pretrained("codellama_model_endpoint")
|
18 |
}
|
19 |
# Outros modelos podem ser adicionados aqui futuramente
|
20 |
}
|
|
|
1 |
+
import os
|
2 |
import gradio as gr
|
3 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
4 |
import torch
|
5 |
|
6 |
+
# Inserir a chave da API da Hugging Face
|
7 |
+
os.environ["HF_API_TOKEN"] = "sua_chave_da_api_aqui"
|
8 |
+
|
9 |
# Carregar os modelos disponíveis
|
10 |
models = {
|
11 |
"GPT-MUX (Code)": {
|
12 |
+
"tokenizer": AutoTokenizer.from_pretrained("EleutherAI/gpt-neox-20b", use_auth_token=True),
|
13 |
+
"model": AutoModelForCausalLM.from_pretrained("EleutherAI/gpt-neox-20b", torch_dtype=torch.float16, device_map="auto", use_auth_token=True)
|
14 |
},
|
15 |
"Mistral": {
|
16 |
+
"tokenizer": AutoTokenizer.from_pretrained("mistral_model_endpoint", use_auth_token=True),
|
17 |
+
"model": AutoModelForCausalLM.from_pretrained("mistral_model_endpoint", use_auth_token=True)
|
18 |
},
|
19 |
"CodeLlama": {
|
20 |
+
"tokenizer": AutoTokenizer.from_pretrained("codellama_model_endpoint", use_auth_token=True),
|
21 |
+
"model": AutoModelForCausalLM.from_pretrained("codellama_model_endpoint", use_auth_token=True)
|
22 |
}
|
23 |
# Outros modelos podem ser adicionados aqui futuramente
|
24 |
}
|