--- license: llama2 language: - pt pipeline_tag: text-generation library_name: transformers tags: - llama - peft - portuguese - instruct model-index: - name: boana-7b-instruct results: - task: type: text-generation dataset: type: Muennighoff/xwinograd name: XWinograd (pt) config: pt split: test metrics: - type: Accuracy value: 50.57 ---
# README
# Boana-7B-Instruct

Boana Logo

Boana-7B-Instruct é um LLM treinado em dados da língua portuguesa. O modelo é baseado no [LLaMA2-7B](https://huggingface.co/meta-llama/Llama-2-7b-chat-hf), uma versão de 7B de parâmetros do LLaMA-2. O projeto Boana tem como objetivo oferecer opções de LLM em língua portuguesa, ao mesmo tempo que disponibiliza um modelo menos complexo para que, dessa forma, usuários com menos poder computacional possam usufruir das LLMs. Em apoio aos países de língua portuguesa.

Countries Logo

### Descrição do Modelo - **Desenvolvido por:** [Leonardo Souza](https://huggingface.co/lrds-code) - **Tipo do modelo:** LLaMA-Based - **Licença:** Academic Free License v3.0 - **Fine-tunado do modelo:** [LLaMA2-7B](https://huggingface.co/meta-llama/Llama-2-7b-chat-hf) ## Como Usar ```python import torch from transformers import pipeline boana = pipeline('text-generation', model='lrds-code/boana-7b-instruct', torch_dtype=torch.bfloat16, device_map='auto') messages = [{'role':'system', 'content':''}, {'role':'user', 'content':'Quantos planetas existem no sistema solar?'}] prompt = boana.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) outputs = boana(prompt, max_new_tokens=256, do_sample=False, temperature=0, top_k=50, top_p=0.95) print(outputs[0]['generated_text']) # [INST] <> # <> # Quantos planetas existem no sistema solar? [/INST] O sistema solar consiste em 8 planetas: # 1. Mercurio # 2. Vênus # 3. Terra # 4. Marte # 5. Júpiter # 6. Saturno # 8. Netuno # Além desses planetas, o sistema solar também inclui outros corpos celestes, como asteroides, cometas e anões, bem como várias luas e satélites naturais ``` ## Parâmetros Importantes - **repetition_penalty:** é utilizado para evitar a repetição de palavras ou frases. Quando esse valor é ajustado para ser maior que 1, o modelo tenta diminuir a probabilidade de gerar palavras que já apareceram anteriormente. Basicamente, quanto maior o valor, mais o modelo tenta evitar repetições. - **do_sample:** determina se o modelo deve ou não amostrar aleatoriamente a próxima palavra com base nas probabilidades calculadas. Portanto, **do_sample=True** introduz variação e imprevisibilidade no texto gerado, enquanto que se **do_sample=False** o modelo escolherá sempre a palavra mais provável como próxima palavra, o que pode levar a saídas mais determinísticas e, possivelmente, mais repetitivas. - **temperature:** afeta a aleatoriedade na escolha da próxima palavra. Um valor baixo (próximo de 0) faz com que o modelo seja mais "confiante" nas suas escolhas, favorecendo palavras com alta probabilidade e levando a saídas mais previsíveis. Por outro lado, um valor alto aumenta a aleatoriedade, permitindo que o modelo escolha palavras menos prováveis, o que pode tornar o texto gerado mais variado e criativo.