Llama-3-portuguese-Tom-cat-8b-instruct

If you are looking for enhanced compatibility, the Luana model also has a GGUF family that can be run with LlamaCpp. You can explore the GGUF models starting with the one below:

Explore this and other models to find the best fit for your needs!

This model was trained with a superset of 300,000 chat in Portuguese. The model comes to help fill the gap in models in Portuguese. Tuned from the Llama3 8B, the model was adjusted mainly for chat.

How to use

FULL MODEL : A100

HALF MODEL: L4

8bit or 4bit : T4 or V100

You can use the model in its normal form up to 4-bit quantization. Below we will use both approaches. Remember that verbs are important in your prompt. Tell your model how to act or behave so that you can guide them along the path of their response. Important points like these help models (even smaller models like 8b) to perform much better.

!pip install -q -U transformers
!pip install -q -U accelerate
!pip install -q -U bitsandbytes

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model = AutoModelForCausalLM.from_pretrained("rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct", device_map= {"": 0})
tokenizer = AutoTokenizer.from_pretrained("rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct")
model.eval()

You can use with Pipeline.


from transformers import pipeline
pipe = pipeline("text-generation",
                model=model,
                tokenizer=tokenizer,
                do_sample=True,
                max_new_tokens=512,
                num_beams=2,
                temperature=0.3,
                top_k=50,
                top_p=0.95,
                early_stopping=True,
                pad_token_id=tokenizer.eos_token_id,
                )


def format_prompt(question:str):
    system_prompt = "Abaixo estรก uma instruรงรฃo que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido."

    return f"""<|begin_of_text|><|start_header_id|>system<|end_header_id|>
    { system_prompt }<|eot_id|><|start_header_id|>user<|end_header_id|>
    { question }<|eot_id|><|start_header_id|>assistant<|end_header_id|>"""

prompt =  format_prompt("Me fale sobra a OAB, Ordem dos Advogados do Brasil")
result = pipe(prompt)
result[0]["generated_text"].split("assistant<|end_header_id|>")[1]



#A Ordem dos Advogados do Brasil (OAB) รฉ a entidade responsรกvel por regulamentar e fiscalizar a profissรฃo de advogado no Brasil.
#Foi criada em 1930, com o objetivo de proteger os direitos e interesses dos advogados e da sociedade, garantindo a defesa dos direitos e garantias fundamentais.
#A OAB รฉ uma entidade de direito pรบblico, com personalidade jurรญdica prรณpria, e รฉ composta por advogados e advogadas que atuam em todo o territรณrio nacional.
#A entidade รฉ dirigida por um Conselho Federal, que รฉ o รณrgรฃo mรกximo da OAB, e รฉ composto por 32 membros, eleitos por votaรงรฃo direta dos advogados e advogadas.
#A OAB tem como principais atribuiรงรตes:. Regulamentar a profissรฃo de advogado: a OAB estabelece as normas e regulamentaรงรตes para a formaรงรฃo, habilitaรงรฃo e exercรญcio 
#a profissรฃo de advogado no Brasil. Fiscalizar a atividade dos advogados: a OAB fiscaliza a atividade dos advogados, verificando se eles atendem ร s normas e
#regulamentaรงรตes estabelecidas.. Defender os direitos e interesses dos advogados: a OAB defende os direitos e interesses dos advogados, garantindo que eles
#possam exercer sua profissรฃo com liberdade e seguranรงa.\n4. Representar a sociedade: a OAB representa a sociedade, defendendo os direitos e interesses dos 
#dadรฃos e das instituiรงรตes.A OAB tambรฉm รฉ responsรกvel por: Certificar a formaรงรฃo e habilitaรงรฃo dos advogados; Fiscalizar a atividade dos advogados, verificando
#se eles atendem ร s normas e regulamentaรงรตes estabelecidas;\n* Defender os direitos e interesses dos advogados, garantindo que eles possam exercer sua profissรฃo
#com liberdade e seguranรงa; Representar a sociedade, defendendo os direitos e interesses dos cidadรฃos e das instituiรงรตes.Alรฉm disso, a OAB tambรฉm รฉ responsรกvel por:
#Publicar o Diรกrio da Ordem dos Advogados do Brasil
prompt =  format_prompt("Haja como um professor de matemรกtica e me explique porque 2 + 2 = 4")
result = pipe(prompt)
result[0]["generated_text"].split("assistant<|end_header_id|>")[1]

#Meu aluno, รฉ um prazer explicar um conceito fundamental da matemรกtica!  equaรงรฃo 2 + 2 = 4 pode parecer simples, mas รฉ
#importante entender por quรช ela รฉ verdadeira. Em matemรกtica, a adiรงรฃo รฉ uma operaรงรฃo que combina dois nรบmeros para obter um resultado.
#Nesse caso, estamos adicionando 2 e 2. Para entender melhor, vamos comeรงar com um exemplo concreto. Imagine que vocรช tem 2 maรงรฃs em uma mesa e seu amigo tambรฉm tem
#2 maรงรฃs em outra mesa. Se vocรช e seu amigo combinam suas maรงรฃs, vocรช terรก agora 4 maรงรฃs.Agora, vamos usar sรญmbolos para representar essa situaรงรฃo.
#Podemos escrever 2 + 2 =?, e o resultado รฉ 4. Isso significa que quando vocรช soma 2 e 2, o resultado รฉ 4. Mas por quรช isso รฉ verdade? Isso รฉ porque a adiรงรฃo รฉ
#uma operaรงรฃo que segue certas regras. Uma dessas regras รฉ que a ordem em que vocรช soma os nรบmeros nรฃo muda o resultado. Isso significa que 2 + 2 รฉ igual a 2 + 2,
#independentemente da ordem em que vocรช soma.Alรฉm disso, a adiรงรฃo tambรฉm รฉ uma operaรงรฃo que รฉ associativa, o que significa que vocรช pode adicionar nรบmeros em
#qualquer ordem e o resultado serรก o mesmo. Por exemplo, (2 + 2) + 0 = 2 + (2 + 0). Isso รฉ verdade porque a adiรงรฃo รฉ uma operaรงรฃo que รฉ idempotente, o que significa
#que adicionando 0 a um nรบmero nรฃo muda o resultado.Portanto, quando vocรช soma 2 e 2, o resultado รฉ 4 porque a adiรงรฃo segue essas regras. A equaรงรฃo 2 + 2 = 4
#รฉ verdadeira porque รฉ uma consequรชncia lรณgica da definiรงรฃo da adiรงรฃo e das regras que a governam.Espero que isso tenha ajudado a entender melhor por quรช 2 + 2 = 4,
#meu aluno!

If you are having a memory problem such as "CUDA Out of memory", you should use 4-bit or 8-bit quantization. For the complete model in colab you will need the A100. If you want to use 4bits or 8bits, T4 or L4 will already solve the problem.

4bits example

from transformers import BitsAndBytesConfig
import torch
nb_4bit_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True
)

model = AutoModelForCausalLM.from_pretrained(
    base_model,
    quantization_config=bnb_config,
    device_map={"": 0}
)

Open Portuguese LLM Leaderboard Evaluation Results

Detailed results can be found here and on the ๐Ÿš€ Open Portuguese LLM Leaderboard

Metric Value
Average 70.57
ENEM Challenge (No Images) 70.40
BLUEX (No Images) 58
OAB Exams 51.07
Assin2 RTE 90.91
Assin2 STS 75.40
FaQuAD NLI 76.05
HateBR Binary 86.99
PT Hate Speech Binary 60.39
tweetSentBR 65.92

Comments

Any idea, help or report will always be welcome.

email: [email protected]

Downloads last month
50
Safetensors
Model size
8.03B params
Tensor type
F32
ยท
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct

Finetuned
(487)
this model
Quantizations
2 models

Dataset used to train rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct

Space using rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct 1

Evaluation results