README.md

---
license: mit
base_model: neuralmind/bert-base-portuguese-cased
tags:
- generated_from_trainer
- portuguese
- qa
- bert
model-index:
- name: finetune-BERT-squad
  results: []
widget:
- text: Onde Cristiano Ronaldo começou sua carreira ?
  context: >-
    Cristiano Ronaldo é jogador de futebol considerado por muitos um dos
    melhores de todos os tempos. Português, começou a carreira no Sporting e já
    atuou por Manchester United, Real Madrid, Juventus e Al-Nassr. Foi cinco
    vezes campeão da Liga dos Campeões da Europa. Também foi campeão da Eurocopa
    com Portugal no que é considerado o maior título já conquistado pela equipe
    portuguesa. Disputou cinco Copas do Mundo. Atualmente, é o atleta com mais
    gols marcados por seleções nacionais.
  example_title: Cristiano Ronaldo
- text: A quem foram feitas criticas ?
  context: >-
    O objetivo do depoimento é coletar informações sobre um áudio revelado pela
    revista Veja, em que o ex-ajudante de ordens faz críticas à Polícia Federal
    e ao ministro Alexandre de Moraes. Nas gravações, o ex-ajudante de ordens de
    Bolsonaro disse que foi pressionado por agentes da investigação a relatar
    fatos que não aconteceram e que não tinha conhecimento.
  example_title: Depoimento Cid
language:
- pt
metrics:
- accuracy
library_name: transformers
pipeline_tag: question-answering
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# bert-squad-portuguese

This model aims to help reduce the need for models in Portuguese.

## How to use:

```python
from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name = "rhaymison/bert-squad-portuguese"

nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
QA_input = {
    'question': 'Onde Cristiano Ronaldo começou sua carreira ?',
    'context': 'Cristiano Ronaldo é jogador de futebol considerado por muitos um dos melhores de todos os tempos. Português, começou a carreira no Sporting e já atuou por Manchester United, Real Madrid, Juventus e Al-Nassr. Foi cinco vezes campeão da Liga dos Campeões da Europa. Também foi campeão da Eurocopa com Portugal no que é considerado o maior título já conquistado pela equipe portuguesa. Disputou cinco Copas do Mundo. Atualmente, é o atleta com mais gols marcados por seleções nacionais.'
}
res = nlp(QA_input)
```

If you need load model and tokenizer
```python
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
```

This model is a fine-tuned version of [neuralmind/bert-base-portuguese-cased](https://huggingface.co/neuralmind/bert-base-portuguese-cased).
It achieves the following results on the evaluation set:
- Loss: 1.0687

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 2e-05
- train_batch_size: 16
- eval_batch_size: 16
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 2

GPU: T4

### Training results

| Training Loss | Epoch | Step  | Validation Loss |
|:-------------:|:-----:|:-----:|:---------------:|
| 1.4612        | 0.19  | 1000  | 1.3505          |
| 1.2999        | 0.37  | 2000  | 1.2518          |
| 1.2234        | 0.56  | 3000  | 1.1492          |
| 1.1824        | 0.74  | 4000  | 1.1181          |
| 1.1169        | 0.93  | 5000  | 1.0850          |
| 0.8933        | 1.11  | 6000  | 1.0925          |
| 0.9004        | 1.3   | 7000  | 1.0849          |
| 0.8706        | 1.49  | 8000  | 1.0976          |
| 0.8617        | 1.67  | 9000  | 1.0779          |
| 0.8756        | 1.86  | 10000 | 1.0687          |


### Framework versions

- Transformers 4.38.2
- Pytorch 2.2.1+cu121
- Datasets 2.18.0
- Tokenizers 0.15.2