Cabra Llama-3 70B
O Cabra Llama-3 70B é uma versão aprimorada do Meta Llama 3 70B Instruct, refinado com o uso do dataset Cabra 30k. Este modelo foi especialmente otimizado para compreender e responder em português (pt-br).
Conheça os nossos outros modelos e datasets, e o Cabra Llama 3 8b.
Detalhes do modelo base
Modelo: Meta-Llama-3-70B-Instruct
A Meta desenvolveu e lançou a família de modelos Llama 3, uma coleção de modelos de texto generativos pré-treinados e ajustados por instruções nos tamanhos de 8B e 70B. Os modelos Llama 3 ajustados por instruções são otimizados para casos de uso em diálogos e superam muitos dos modelos de chat de código aberto disponíveis em benchmarks comuns da indústria. Além disso, ao desenvolver esses modelos, tomamos grande cuidado para otimizar a utilidade e a segurança.
Arquitetura do Modelo: Llama 3 é um modelo de linguagem auto-regressivo que usa uma arquitetura de transformador otimizada. As versões ajustadas utilizam o aprimoramento supervisionado (SFT) e aprendizado por reforço com feedback humano (RLHF) para se alinhar às preferências humanas quanto à utilidade e segurança.
Dataset: Cabra 30k
Dataset interno para fine-tuning. Vamos lançar em breve.
Quantização / GGUF
Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".
Open Portuguese LLM Leaderboard Evaluation Results
Detailed results can be found here and on the 🚀 Open Portuguese LLM Leaderboard
Metric | Value |
---|---|
Average | 78.44 |
ENEM Challenge (No Images) | 82.02 |
BLUEX (No Images) | 70.10 |
OAB Exams | 68.52 |
Assin2 RTE | 93.21 |
Assin2 STS | 83.32 |
FaQuAD NLI | 80.60 |
HateBR Binary | 81.62 |
PT Hate Speech Binary | 72.72 |
tweetSentBR | 73.85 |
- Downloads last month
- 44
Model tree for botbot-ai/CabraLlama3-70b
Dataset used to train botbot-ai/CabraLlama3-70b
Space using botbot-ai/CabraLlama3-70b 1
Collection including botbot-ai/CabraLlama3-70b
Evaluation results
- accuracy on ENEM Challenge (No Images)Open Portuguese LLM Leaderboard82.020
- accuracy on BLUEX (No Images)Open Portuguese LLM Leaderboard70.100
- accuracy on OAB ExamsOpen Portuguese LLM Leaderboard68.520
- f1-macro on Assin2 RTEtest set Open Portuguese LLM Leaderboard93.210
- pearson on Assin2 STStest set Open Portuguese LLM Leaderboard83.320
- f1-macro on FaQuAD NLItest set Open Portuguese LLM Leaderboard80.600
- f1-macro on HateBR Binarytest set Open Portuguese LLM Leaderboard81.620
- f1-macro on PT Hate Speech Binarytest set Open Portuguese LLM Leaderboard72.720
- f1-macro on tweetSentBRtest set Open Portuguese LLM Leaderboard73.850