nicolasdec
commited on
Commit
•
d474da6
1
Parent(s):
5455181
Update README.md
Browse files
README.md
CHANGED
@@ -17,11 +17,11 @@ pipeline_tag: text-generation
|
|
17 |
# Cabra Mistral 7b v2
|
18 |
<img src="https://media.discordapp.net/attachments/1060891441724932096/1219303427000242316/blackpantera_cute_goat_with_red_M_in_the_background_brazil_flag_3b448f3a-d500-4f01-877f-2e469aba7dfc.png?ex=660acfce&is=65f85ace&hm=28ee401f092b558b11df54951270189641fe7d1173bfc4a5d633e53fb03c2d6d&=&format=webp&quality=lossless&width=350&height=350" width="400" height="400">
|
19 |
|
20 |
-
Esse modelo é um finetune do [Mistral 7b Instruct 0.2](https://huggingface.co/mistralai/mistral-7b-instruct-v0.2) com o dataset interno Cabra
|
21 |
|
22 |
**Exprimente o nosso demo aqui: [CabraChat](https://huggingface.co/spaces/nicolasdec/CabraChat).**
|
23 |
|
24 |
-
**Conheça os outros modelos
|
25 |
|
26 |
## Detalhes do Modelo
|
27 |
|
@@ -33,9 +33,13 @@ Mistral-7B-v0.1 é um modelo de transformador, com as seguintes escolhas arquite
|
|
33 |
- Sliding-Window Attention
|
34 |
- Byte-fallback BPE tokenizer
|
35 |
|
36 |
-
### dataset: Cabra
|
37 |
|
38 |
-
Dataset
|
|
|
|
|
|
|
|
|
39 |
|
40 |
### Exemplo
|
41 |
|
@@ -44,7 +48,7 @@ Dataset Interno para finetuing. Vamos lançar em breve.
|
|
44 |
|
45 |
```
|
46 |
|
47 |
-
### Paramentros de trainamento
|
48 |
|
49 |
```
|
50 |
- learning_rate: 1e-05
|
|
|
17 |
# Cabra Mistral 7b v2
|
18 |
<img src="https://media.discordapp.net/attachments/1060891441724932096/1219303427000242316/blackpantera_cute_goat_with_red_M_in_the_background_brazil_flag_3b448f3a-d500-4f01-877f-2e469aba7dfc.png?ex=660acfce&is=65f85ace&hm=28ee401f092b558b11df54951270189641fe7d1173bfc4a5d633e53fb03c2d6d&=&format=webp&quality=lossless&width=350&height=350" width="400" height="400">
|
19 |
|
20 |
+
Esse modelo é um finetune do [Mistral 7b Instruct 0.2](https://huggingface.co/mistralai/mistral-7b-instruct-v0.2) com o dataset interno Cabra 10k. Esse modelo é optimizado para português e responde em portuguese nativamente. Ele apresenta melhoria em varios benchmarks brasileiros em comparação com o modelo base.
|
21 |
|
22 |
**Exprimente o nosso demo aqui: [CabraChat](https://huggingface.co/spaces/nicolasdec/CabraChat).**
|
23 |
|
24 |
+
**Conheça os nossos outros modelos: [Cabra](https://huggingface.co/collections/botbot-ai/models-6604c2069ceef04f834ba99b).**
|
25 |
|
26 |
## Detalhes do Modelo
|
27 |
|
|
|
33 |
- Sliding-Window Attention
|
34 |
- Byte-fallback BPE tokenizer
|
35 |
|
36 |
+
### dataset: Cabra 10k
|
37 |
|
38 |
+
Dataset interno para finetuning. Vamos lançar em breve.
|
39 |
+
|
40 |
+
### Quantização / GGUF
|
41 |
+
|
42 |
+
Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".
|
43 |
|
44 |
### Exemplo
|
45 |
|
|
|
48 |
|
49 |
```
|
50 |
|
51 |
+
### Paramentros de trainamento
|
52 |
|
53 |
```
|
54 |
- learning_rate: 1e-05
|