ilovebots commited on
Commit
91146dd
1 Parent(s): ae50be3

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +82 -0
README.md CHANGED
@@ -1,3 +1,85 @@
1
  ---
2
  license: mit
 
 
 
 
 
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: mit
3
+ language:
4
+ - fr
5
+ tags:
6
+ - Objectifs de développement durable (ODD)
7
+ - SDG
8
+ - FlauBERT Large
9
+ - BERT
10
  ---
11
+
12
+ # ilovebots/bert-sdg-french
13
+
14
+ <!-- Provide a quick summary of what the model is/does. -->
15
+
16
+ Ce modèle permet de classer les textes en fonction des objectifs de développement durable (ODD) des Nations Unies.
17
+
18
+
19
+ <img src="https://www.ulaval.ca/sites/default/files/DD/ODD/Tableau%20ODD.jpg" alt="image" width="600"/>
20
+
21
+ Source: [https://www.un.org/development/desa/disabilities/about-us/sustainable-development-goals-sdgs-and-disability.html](https://www.un.org/development/desa/disabilities/about-us/sustainable-development-goals-sdgs-and-disability.html)
22
+
23
+
24
+ ## Détails du modèle
25
+
26
+ ### Description du modèle
27
+
28
+ <!-- Provide a longer summary of what this model is. -->
29
+
30
+ Ce modèle de classification de texte a été développé en fine-tuning le modèle pré-entraîné dbmdz/bert-base-french-europeana-cased.
31
+ Les données d'entraînement de ce modèle affiné proviennent de l'ensemble de données communautaires OSDG (OSDG-CD) accessible au public à l'adresse https://zenodo.org/record/5550238#.ZBulfcJByF4.
32
+ Ce modèle a été réalisé dans le cadre d'une recherche universitaire à l'[Université Laval](https://www.ulaval.ca/developpement-durable/objectifs-de-developpement-durable-de-lonu).<br>
33
+ L'objectif était de créer un modèle de classification de texte SDG basé sur transformers en français.<br>
34
+ Les principaux détails du modèle sont mis en évidence ci-dessous :
35
+
36
+ - **Model type:** Text classification
37
+ - **Language(s) (NLP):** French
38
+ - **License:** mit
39
+ - **Finetuned from model :** flaubert/flaubert_large_cased
40
+
41
+ ### Model Sources
42
+ <!-- Provide the basic links for the model. -->
43
+ - **Repository:** https://huggingface.co/ilovebots/Flaubert_large_SDG_French
44
+
45
+ ## How to Get Started with the Model
46
+
47
+ Utilisez le code ci-dessous pour commencer à utiliser le modèle.
48
+ ```python
49
+ from transformers import AutoTokenizer, AutoModelForSequenceClassification
50
+ tokenizer = AutoTokenizer.from_pretrained("ilovebots/Flaubert_large_SDG_French")
51
+ model = AutoModelForSequenceClassification.from_pretrained("ilovebots/Flaubert_large_SDG_French")
52
+ ```
53
+
54
+
55
+ ## Training Data
56
+
57
+ <!-- This should link to a Data Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
58
+ La base disponible dans https://zenodo.org/record/5550238#.ZBulfcJByF4 a été enrichie des objectifs de développement durable des Nations Unies et traduite en en français.
59
+
60
+ ## Training Hyperparameters
61
+
62
+ - Num_epoch = 4
63
+ - Learning rate = 2e-5
64
+ - Epsilon = 1e-8
65
+ - Optimizer = AdamW
66
+ - Batch size = 32
67
+ - Seed random = 42
68
+
69
+
70
+ ## Evaluation
71
+
72
+ #### Metrics
73
+
74
+ <!-- These are the evaluation metrics being used, ideally with a description of why. -->
75
+ - Accuracy = 0.84
76
+
77
+ <img src="https://raw.githubusercontent.com/I-Love-Bots/public/main/BertFinetuning.png" alt="image" width="600"/>
78
+
79
+ ## Citation
80
+ Martinez, D.F. (2023). SDG classification with BERT. https://huggingface.co/ilovebots/Flaubert_large_SDG_French
81
+
82
+ <!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
83
+
84
+
85
+ <!--## Model Card Contact -->