Hugging Face's logo

akhooli
/
setfit_ar_hs

Text Classification
setfit
Safetensors
sentence-transformers
bert
generated_from_setfit_trainer
Eval Results
Model card Files Community
akhooli commited on
Commit
81358f8
•
1 Parent(s): 4b4134a

Push model using huggingface_hub.

Browse files
Files changed (3) hide show
  1. README.md +102 -122
  2. model.safetensors +1 -1
  3. model_head.pkl +1 -1
README.md CHANGED
@@ -10,13 +10,13 @@ tags:
10
  - text-classification
11
  - generated_from_setfit_trainer
12
  widget:
13
- - text: يا زلمة يلي بيصنع معنا معروف بنتشكره شو ما كان يكون وانتم ادعياء الاخوة العرب
14
- هول مش ايرانيين ولا عجم عرب متلنا متلهم
15
- - text: لعمي
16
- - text: هلق رجع لمن قلو الريس تبعو هش قلو مشمو على عيني ؟
17
- - text: مثل الكليشيه وبشكل يومي في حدا بده يعاير التاني بيقوم بيشبهه بالكلب والله
18
- اذا حدا شبهني بالكلب بعتبرها مدح شديد
19
- - text: الله لا يحرمك من الهبل ان شاء الله
20
  inference: true
21
  model-index:
22
  - name: SetFit with akhooli/sbert_ar_nli_500k_norm
@@ -30,7 +30,7 @@ model-index:
30
  split: test
31
  metrics:
32
  - type: accuracy
33
- value: 0.8497652582159625
34
  name: Accuracy
35
  ---
36
 
@@ -62,17 +62,17 @@ The model has been trained using an efficient few-shot learning technique that i
62
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
63
 
64
  ### Model Labels
65
- | Label | Examples |
66
- |:---------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
67
- | negative | <ul><li>'الف تحية لشيخ العقل ومشايخنا الكرام'</li><li>'بتحبو او بتكرهو انشط وزير و رئيس تيار و ديبلوماسيتو بتتدرّس'</li><li>'نعم معاليك ستظل دمشق المدينة التي تغنى بها الشعراء وهذه الكلمات خير شاهد فرشت فوق ثراك الطاهرالهدبا'</li></ul> |
68
- | positive | <ul><li>'لسانك حصانك وحسنا فعلت قطر لتلغي مركز الأبحاث لا مرحبا بكم انتم ولا تستاهلون اي عمل لكم ناكرين المعروف'</li><li>'ارنب وبضلك ارنب ابكي بترتاح يا صرماية'</li><li>'سليمان فرنجية عبارة عن كلب مسعور لديه حاسة شم قوية جداً شم ريحة كرسي الرئاسة ولكنه لن يجلس عليها ابداً وتصبحو على خير'</li></ul> |
69
 
70
  ## Evaluation
71
 
72
  ### Metrics
73
  | Label | Accuracy |
74
  |:--------|:---------|
75
- | **all** | 0.8498 |
76
 
77
  ## Uses
78
 
@@ -92,7 +92,7 @@ from setfit import SetFitModel
92
  # Download from the 🤗 Hub
93
  model = SetFitModel.from_pretrained("akhooli/setfit_ar_hs")
94
  # Run inference
95
- preds = model("لعمي")
96
  ```
97
 
98
  <!--
@@ -124,17 +124,17 @@ preds = model("لعمي")
124
  ### Training Set Metrics
125
  | Training set | Min | Median | Max |
126
  |:-------------|:----|:--------|:----|
127
- | Word count | 1 | 12.2323 | 52 |
128
 
129
  | Label | Training Sample Count |
130
  |:---------|:----------------------|
131
- | negative | 1995 |
132
- | positive | 2500 |
133
 
134
  ### Training Hyperparameters
135
  - batch_size: (32, 32)
136
  - num_epochs: (1, 1)
137
- - max_steps: 10000
138
  - sampling_strategy: undersampling
139
  - body_learning_rate: (2e-05, 1e-05)
140
  - head_learning_rate: 0.01
@@ -146,114 +146,94 @@ preds = model("لعمي")
146
  - warmup_proportion: 0.1
147
  - l2_weight: 0.01
148
  - seed: 42
149
- - run_name: setfit_hate_25kv
150
  - eval_max_steps: -1
151
  - load_best_model_at_end: False
152
 
153
  ### Training Results
154
- | Epoch | Step | Training Loss | Validation Loss |
155
- |:------:|:-----:|:-------------:|:---------------:|
156
- | 0.0002 | 1 | 0.3185 | - |
157
- | 0.02 | 100 | 0.2901 | - |
158
- | 0.04 | 200 | 0.2441 | - |
159
- | 0.06 | 300 | 0.2209 | - |
160
- | 0.08 | 400 | 0.1715 | - |
161
- | 0.1 | 500 | 0.1304 | - |
162
- | 0.12 | 600 | 0.0891 | - |
163
- | 0.14 | 700 | 0.0604 | - |
164
- | 0.16 | 800 | 0.0436 | - |
165
- | 0.18 | 900 | 0.0408 | - |
166
- | 0.2 | 1000 | 0.0265 | - |
167
- | 0.22 | 1100 | 0.0239 | - |
168
- | 0.24 | 1200 | 0.0235 | - |
169
- | 0.26 | 1300 | 0.0232 | - |
170
- | 0.28 | 1400 | 0.0241 | - |
171
- | 0.3 | 1500 | 0.019 | - |
172
- | 0.32 | 1600 | 0.0168 | - |
173
- | 0.34 | 1700 | 0.0172 | - |
174
- | 0.36 | 1800 | 0.0136 | - |
175
- | 0.38 | 1900 | 0.0099 | - |
176
- | 0.4 | 2000 | 0.0117 | - |
177
- | 0.42 | 2100 | 0.0091 | - |
178
- | 0.44 | 2200 | 0.0067 | - |
179
- | 0.46 | 2300 | 0.0074 | - |
180
- | 0.48 | 2400 | 0.0055 | - |
181
- | 0.5 | 2500 | 0.0053 | - |
182
- | 0.52 | 2600 | 0.0054 | - |
183
- | 0.54 | 2700 | 0.0058 | - |
184
- | 0.56 | 2800 | 0.0059 | - |
185
- | 0.58 | 2900 | 0.0055 | - |
186
- | 0.6 | 3000 | 0.0043 | - |
187
- | 0.62 | 3100 | 0.0045 | - |
188
- | 0.64 | 3200 | 0.0055 | - |
189
- | 0.66 | 3300 | 0.0042 | - |
190
- | 0.68 | 3400 | 0.0024 | - |
191
- | 0.7 | 3500 | 0.0025 | - |
192
- | 0.72 | 3600 | 0.0047 | - |
193
- | 0.74 | 3700 | 0.0036 | - |
194
- | 0.76 | 3800 | 0.0029 | - |
195
- | 0.78 | 3900 | 0.0043 | - |
196
- | 0.8 | 4000 | 0.0036 | - |
197
- | 0.82 | 4100 | 0.0025 | - |
198
- | 0.84 | 4200 | 0.0033 | - |
199
- | 0.86 | 4300 | 0.0018 | - |
200
- | 0.88 | 4400 | 0.0016 | - |
201
- | 0.9 | 4500 | 0.0018 | - |
202
- | 0.92 | 4600 | 0.0023 | - |
203
- | 0.94 | 4700 | 0.0027 | - |
204
- | 0.96 | 4800 | 0.0023 | - |
205
- | 0.98 | 4900 | 0.0012 | - |
206
- | 1.0 | 5000 | 0.0021 | - |
207
- | 1.02 | 5100 | 0.0026 | - |
208
- | 1.04 | 5200 | 0.0019 | - |
209
- | 1.06 | 5300 | 0.002 | - |
210
- | 1.08 | 5400 | 0.0022 | - |
211
- | 1.1 | 5500 | 0.0025 | - |
212
- | 1.12 | 5600 | 0.0033 | - |
213
- | 1.1400 | 5700 | 0.001 | - |
214
- | 1.16 | 5800 | 0.0016 | - |
215
- | 1.18 | 5900 | 0.0015 | - |
216
- | 1.2 | 6000 | 0.0008 | - |
217
- | 1.22 | 6100 | 0.0011 | - |
218
- | 1.24 | 6200 | 0.0012 | - |
219
- | 1.26 | 6300 | 0.0009 | - |
220
- | 1.28 | 6400 | 0.0012 | - |
221
- | 1.3 | 6500 | 0.001 | - |
222
- | 1.32 | 6600 | 0.0014 | - |
223
- | 1.34 | 6700 | 0.0002 | - |
224
- | 1.3600 | 6800 | 0.0005 | - |
225
- | 1.38 | 6900 | 0.0003 | - |
226
- | 1.4 | 7000 | 0.0001 | - |
227
- | 1.42 | 7100 | 0.0007 | - |
228
- | 1.44 | 7200 | 0.0003 | - |
229
- | 1.46 | 7300 | 0.0002 | - |
230
- | 1.48 | 7400 | 0.0005 | - |
231
- | 1.5 | 7500 | 0.0001 | - |
232
- | 1.52 | 7600 | 0.0003 | - |
233
- | 1.54 | 7700 | 0.001 | - |
234
- | 1.56 | 7800 | 0.0003 | - |
235
- | 1.58 | 7900 | 0.0 | - |
236
- | 1.6 | 8000 | 0.0002 | - |
237
- | 1.62 | 8100 | 0.0 | - |
238
- | 1.6400 | 8200 | 0.0002 | - |
239
- | 1.6600 | 8300 | 0.0002 | - |
240
- | 1.6800 | 8400 | 0.0 | - |
241
- | 1.7 | 8500 | 0.0 | - |
242
- | 1.72 | 8600 | 0.0002 | - |
243
- | 1.74 | 8700 | 0.0002 | - |
244
- | 1.76 | 8800 | 0.0002 | - |
245
- | 1.78 | 8900 | 0.0002 | - |
246
- | 1.8 | 9000 | 0.0 | - |
247
- | 1.8200 | 9100 | 0.0004 | - |
248
- | 1.8400 | 9200 | 0.0 | - |
249
- | 1.8600 | 9300 | 0.0002 | - |
250
- | 1.88 | 9400 | 0.0002 | - |
251
- | 1.9 | 9500 | 0.0 | - |
252
- | 1.92 | 9600 | 0.0003 | - |
253
- | 1.94 | 9700 | 0.0 | - |
254
- | 1.96 | 9800 | 0.0 | - |
255
- | 1.98 | 9900 | 0.0 | - |
256
- | 2.0 | 10000 | 0.0 | - |
257
 
258
  ### Framework Versions
259
  - Python: 3.10.14
 
10
  - text-classification
11
  - generated_from_setfit_trainer
12
  widget:
13
+ - text: الطريقة الأفضل لتحصل على ريتويت ولايك هل ايام تقتطع جزء من مقابلة للوزير
14
+ باسيل طبعا جزء غير مكتمل ثم تغرد به وتقول جبران مع التطبيع
15
+ - text: ما بعرف كيف بدي خبركن ياها بس غير إنو واطي طلع عرص
16
+ - text: سد نيعك يا صرمايت بشار
17
+ - text: بتفهّم فهم وحدة فهما متدنّي هههه 😎
18
+ - text: للاسف لدينا في الخليج بعض من الكتاب والدكاتره والمحللين كالبغال والجحاش ينهق
19
+ ويهرف بما لايعرف
20
  inference: true
21
  model-index:
22
  - name: SetFit with akhooli/sbert_ar_nli_500k_norm
 
30
  split: test
31
  metrics:
32
  - type: accuracy
33
+ value: 0.8544600938967136
34
  name: Accuracy
35
  ---
36
 
 
62
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
63
 
64
  ### Model Labels
65
+ | Label | Examples |
66
+ |:---------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
67
+ | negative | <ul><li>'كلامي ان حزب الله الحامي الوحيد للبنان معناه ان في لبنان'</li><li>'يا غايظهن يا جبران باسيل انت حبيب القلب'</li><li>'يسعد صباحك معالي الوزير'</li></ul> |
68
+ | positive | <ul><li>'الى وزير خارجية لبنان جبران باسيل اذا أردت ان تكون مثل الشيخ بشير الجميل عليك ان تستشهد الآن يا اخي فقط إستشهد و لك'</li><li>'شو ضعيف وشو مقهور ومش قادر تعمل شيطز فيكم كلكن كلكن بتصبوا بخانة الكذب والنفاق بتدعسوا عا الناس لمصالحهم وفسادكم'</li><li>'ولك الله انتو شعب بجم روح جبلي مصاري للشعب بعدين احكي'</li></ul> |
69
 
70
  ## Evaluation
71
 
72
  ### Metrics
73
  | Label | Accuracy |
74
  |:--------|:---------|
75
+ | **all** | 0.8545 |
76
 
77
  ## Uses
78
 
 
92
  # Download from the 🤗 Hub
93
  model = SetFitModel.from_pretrained("akhooli/setfit_ar_hs")
94
  # Run inference
95
+ preds = model("سد نيعك يا صرمايت بشار")
96
  ```
97
 
98
  <!--
 
124
  ### Training Set Metrics
125
  | Training set | Min | Median | Max |
126
  |:-------------|:----|:--------|:----|
127
+ | Word count | 1 | 12.2912 | 52 |
128
 
129
  | Label | Training Sample Count |
130
  |:---------|:----------------------|
131
+ | negative | 2015 |
132
+ | positive | 2800 |
133
 
134
  ### Training Hyperparameters
135
  - batch_size: (32, 32)
136
  - num_epochs: (1, 1)
137
+ - max_steps: 8000
138
  - sampling_strategy: undersampling
139
  - body_learning_rate: (2e-05, 1e-05)
140
  - head_learning_rate: 0.01
 
146
  - warmup_proportion: 0.1
147
  - l2_weight: 0.01
148
  - seed: 42
149
+ - run_name: setfit_hate_25kv8
150
  - eval_max_steps: -1
151
  - load_best_model_at_end: False
152
 
153
  ### Training Results
154
+ | Epoch | Step | Training Loss | Validation Loss |
155
+ |:------:|:----:|:-------------:|:---------------:|
156
+ | 0.0003 | 1 | 0.3359 | - |
157
+ | 0.025 | 100 | 0.2843 | - |
158
+ | 0.05 | 200 | 0.2376 | - |
159
+ | 0.075 | 300 | 0.2067 | - |
160
+ | 0.1 | 400 | 0.1591 | - |
161
+ | 0.125 | 500 | 0.108 | - |
162
+ | 0.15 | 600 | 0.0736 | - |
163
+ | 0.175 | 700 | 0.0513 | - |
164
+ | 0.2 | 800 | 0.0384 | - |
165
+ | 0.225 | 900 | 0.0364 | - |
166
+ | 0.25 | 1000 | 0.0296 | - |
167
+ | 0.275 | 1100 | 0.0207 | - |
168
+ | 0.3 | 1200 | 0.0212 | - |
169
+ | 0.325 | 1300 | 0.0164 | - |
170
+ | 0.35 | 1400 | 0.0122 | - |
171
+ | 0.375 | 1500 | 0.0163 | - |
172
+ | 0.4 | 1600 | 0.01 | - |
173
+ | 0.425 | 1700 | 0.0085 | - |
174
+ | 0.45 | 1800 | 0.0081 | - |
175
+ | 0.475 | 1900 | 0.0083 | - |
176
+ | 0.5 | 2000 | 0.0057 | - |
177
+ | 0.525 | 2100 | 0.0061 | - |
178
+ | 0.55 | 2200 | 0.0046 | - |
179
+ | 0.575 | 2300 | 0.0049 | - |
180
+ | 0.6 | 2400 | 0.007 | - |
181
+ | 0.625 | 2500 | 0.0048 | - |
182
+ | 0.65 | 2600 | 0.0057 | - |
183
+ | 0.675 | 2700 | 0.0058 | - |
184
+ | 0.7 | 2800 | 0.0046 | - |
185
+ | 0.725 | 2900 | 0.0044 | - |
186
+ | 0.75 | 3000 | 0.0042 | - |
187
+ | 0.775 | 3100 | 0.0042 | - |
188
+ | 0.8 | 3200 | 0.0057 | - |
189
+ | 0.825 | 3300 | 0.003 | - |
190
+ | 0.85 | 3400 | 0.0041 | - |
191
+ | 0.875 | 3500 | 0.0052 | - |
192
+ | 0.9 | 3600 | 0.004 | - |
193
+ | 0.925 | 3700 | 0.0042 | - |
194
+ | 0.95 | 3800 | 0.0058 | - |
195
+ | 0.975 | 3900 | 0.0049 | - |
196
+ | 1.0 | 4000 | 0.0052 | - |
197
+ | 1.025 | 4100 | 0.0031 | - |
198
+ | 1.05 | 4200 | 0.0025 | - |
199
+ | 1.075 | 4300 | 0.003 | - |
200
+ | 1.1 | 4400 | 0.0018 | - |
201
+ | 1.125 | 4500 | 0.0015 | - |
202
+ | 1.15 | 4600 | 0.0038 | - |
203
+ | 1.175 | 4700 | 0.0033 | - |
204
+ | 1.2 | 4800 | 0.0031 | - |
205
+ | 1.225 | 4900 | 0.0022 | - |
206
+ | 1.25 | 5000 | 0.0023 | - |
207
+ | 1.275 | 5100 | 0.0022 | - |
208
+ | 1.3 | 5200 | 0.0027 | - |
209
+ | 1.325 | 5300 | 0.0017 | - |
210
+ | 1.35 | 5400 | 0.0027 | - |
211
+ | 1.375 | 5500 | 0.0019 | - |
212
+ | 1.4 | 5600 | 0.0024 | - |
213
+ | 1.425 | 5700 | 0.0015 | - |
214
+ | 1.45 | 5800 | 0.0023 | - |
215
+ | 1.475 | 5900 | 0.0021 | - |
216
+ | 1.5 | 6000 | 0.0009 | - |
217
+ | 1.525 | 6100 | 0.0015 | - |
218
+ | 1.55 | 6200 | 0.0009 | - |
219
+ | 1.575 | 6300 | 0.001 | - |
220
+ | 1.6 | 6400 | 0.0002 | - |
221
+ | 1.625 | 6500 | 0.0004 | - |
222
+ | 1.65 | 6600 | 0.0012 | - |
223
+ | 1.675 | 6700 | 0.0011 | - |
224
+ | 1.7 | 6800 | 0.0008 | - |
225
+ | 1.725 | 6900 | 0.0013 | - |
226
+ | 1.75 | 7000 | 0.0004 | - |
227
+ | 1.775 | 7100 | 0.0004 | - |
228
+ | 1.8 | 7200 | 0.0008 | - |
229
+ | 1.825 | 7300 | 0.0007 | - |
230
+ | 1.85 | 7400 | 0.0007 | - |
231
+ | 1.875 | 7500 | 0.001 | - |
232
+ | 1.9 | 7600 | 0.001 | - |
233
+ | 1.925 | 7700 | 0.0002 | - |
234
+ | 1.95 | 7800 | 0.0005 | - |
235
+ | 1.975 | 7900 | 0.0009 | - |
236
+ | 2.0 | 8000 | 0.0002 | - |
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
237
 
238
  ### Framework Versions
239
  - Python: 3.10.14
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:4a57cf1b94b40775394f2923ab55ef1d19c4834e85d7a2009c4176186c9e237f
3
  size 540795752
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:678a7f619051ccc59a3d4a33ef126ead20b3b4b7a45177e6a7024f02ad35d6ca
3
  size 540795752
model_head.pkl CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:d6eeaa6c778128349ddfa446dacb3d93308083b257078b1323aa10159fafc4e0
3
  size 7007
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:9158c10a5c23a616473aec6c99ed9b519ad054e3997daa39c67b366378de63d6
3
  size 7007