---
language: en
tags:
- text-classification
- roberta
- custom
datasets:
- google/jigsaw_toxicity_pred
base_model:
- FacebookAI/roberta-base
pipeline_tag: text-classification
---

# Modèle finetuné de RoBERTa-base pour la détection de toxicité dans un texte 

Le modèle a pour objectif de détecter la toxicité dans un texte en prédisant la probabilité d'appartenir à ces catégories attribuant un score pour chacune de ces catégories.
Catégories: toxic, severe_toxic, obscene, threat, insult, identity_hate

Le finetuning a été fait pour 4 époques. La dataset utilisé est celui de Google appelé jigsaw_toxicity_pred.

# Paramètres d'entraînement
training_args = TrainingArguments(
    output_dir="./results",             
    evaluation_strategy="epoch",          
    save_strategy="epoch",             
    learning_rate=2e-5,                  
    per_device_train_batch_size=16,    
    per_device_eval_batch_size=16,         
    num_train_epochs=5,                
    weight_decay=0.01,                    
    save_total_limit=5,                 
    logging_dir="./logs",                
    logging_steps=10,                     
    load_best_model_at_end=True,                                 
)

# Erreur moyenne absolue par catégorie sur le dataset d'entraînement:

toxic: 0.0271
severe_toxic: 0.0128
obscene: 0.0185
threat: 0.0029
insult: 0.0250
identity_hate: 0.0081