mbart-neutralization

This model is a fine-tuned version of facebook/mbart-large-50 on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.0181
• Bleu: 98.7341
• Gen Len: 18.4896

Model description

El modelo "laureanadcastro/mbart-neutralization" es un modelo de traducción desarrollado para llevar a cabo la neutralización de género en textos en español. Utiliza la arquitectura seq2seq y está entrenado para traducir texto en español "normal" a español "inclusivo", donde se neutraliza el género gramatical para hacerlo más inclusivo.

Intended uses & limitations

Este modelo es ideal para casos de uso donde se requiere la traducción de texto en español a una forma más inclusiva y neutral en cuanto al género gramatical. Es adecuado para aplicaciones que buscan promover la diversidad y la inclusión en el lenguaje escrito. Sin embargo, es importante tener en cuenta que, aunque el modelo ha sido entrenado con datos específicos para la neutralización de género, puede haber casos donde la neutralización no sea perfecta o no se ajuste al contexto deseado.

Training and evaluation data

El modelo fue entrenado utilizando el conjunto de datos "hackathon-pln-es/neutral-es", también conocido como el "Spanish Gender Neutralization dataset", que contiene ejemplos de texto en español que han sido neutralizados en cuanto al género. Este conjunto de datos fue tokenizado utilizando el modelo "mbart-large-50". Durante el entrenamiento, se utilizó la métrica sacrebleu, ampliamente utilizada en el ámbito de la traducción automática, para evaluar el rendimiento del modelo.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5.6e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
No log	1.0	440	0.0307	91.2911	18.25
0.2343	2.0	880	0.0181	98.7341	18.4896

Framework versions

• Transformers 4.37.2
• Pytorch 2.1.0+cu121
• Datasets 2.17.0
• Tokenizers 0.15.2