akhooli commited on
Commit
4b4134a
1 Parent(s): 867ad1e

Push model using huggingface_hub.

Browse files
README.md CHANGED
@@ -10,15 +10,13 @@ tags:
10
  - text-classification
11
  - generated_from_setfit_trainer
12
  widget:
13
- - text: عزيزي جبران باسيل بدك تعرف كتييير منيح انو مش شغلتنا نحفظ امن اسرائيل يلي
14
- ما منعترف ولن نعترف ب وجودها ابدا
15
- - text: 'يجب على هؤلاك المجرمون الارهابيون وكل من دس فتنة انا يتحاسبو حساب مؤلم لكن
16
- سؤال من سيحاسبهن '
17
- - text: شيل عينك عن لبنان انت و كل كلب متلك حكايتك و غير هيك انشالله بتنباع بالعزى
18
- - text: لسه بصرعوا طيزنا بدكن نصير متل العراق وليبيا يا حمير تجاوزناهن بأشواط، هلق
19
- لو نصير متل العراق وليبيا تحسن كبير جدا
20
- - text: كول هوا خسرتو بأرضك وبين جمهورك بعد ما منعت القطريين من تشجيع جمهورهم انتو
21
- فاشلين في كل شئ وهم متفوقين عليكم في...
22
  inference: true
23
  model-index:
24
  - name: SetFit with akhooli/sbert_ar_nli_500k_norm
@@ -32,7 +30,7 @@ model-index:
32
  split: test
33
  metrics:
34
  - type: accuracy
35
- value: 0.8452520515826495
36
  name: Accuracy
37
  ---
38
 
@@ -64,17 +62,17 @@ The model has been trained using an efficient few-shot learning technique that i
64
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
65
 
66
  ### Model Labels
67
- | Label | Examples |
68
- |:---------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
69
- | negative | <ul><li>'يا ريت بيمنعوا الأرغيلة بلبنان، لأن غير هيك ما منعمل ثورة '</li><li>'أصلا جبران عندو طيارة وعندو قصر بأوروبا ومحيط الهادىء الى اسهم فيه وتم اكتشاف كوكب جديد مثل زحل وجوبيتير تم شرائه ك...'</li><li>'اكره البرازيل بس لا تقوليلي خلاص كلشي انتهى بليز'</li></ul> |
70
- | positive | <ul><li>'السيد والرئيس وليش عم تشددددد دخلك كل حجمك أرنب عند معلمك بالقرداحة'</li><li>'العوني اذا تمدن متل الجحش اذا تكدن بعمرك شفت عوني بيفهم'</li><li>'لا بس الوطن بدو تكنيس من ل متلك '</li></ul> |
71
 
72
  ## Evaluation
73
 
74
  ### Metrics
75
  | Label | Accuracy |
76
  |:--------|:---------|
77
- | **all** | 0.8453 |
78
 
79
  ## Uses
80
 
@@ -94,7 +92,7 @@ from setfit import SetFitModel
94
  # Download from the 🤗 Hub
95
  model = SetFitModel.from_pretrained("akhooli/setfit_ar_hs")
96
  # Run inference
97
- preds = model("شيل عينك عن لبنان انت و كل كلب متلك حكايتك و غير هيك انشالله بتنباع بالعزى")
98
  ```
99
 
100
  <!--
@@ -124,19 +122,19 @@ preds = model("شيل عينك عن لبنان انت و كل كلب متلك ح
124
  ## Training Details
125
 
126
  ### Training Set Metrics
127
- | Training set | Min | Median | Max |
128
- |:-------------|:----|:-------|:----|
129
- | Word count | 1 | 12.809 | 52 |
130
 
131
  | Label | Training Sample Count |
132
  |:---------|:----------------------|
133
- | negative | 2000 |
134
- | positive | 2000 |
135
 
136
  ### Training Hyperparameters
137
  - batch_size: (32, 32)
138
  - num_epochs: (1, 1)
139
- - max_steps: 5000
140
  - sampling_strategy: undersampling
141
  - body_learning_rate: (2e-05, 1e-05)
142
  - head_learning_rate: 0.01
@@ -148,69 +146,119 @@ preds = model("شيل عينك عن لبنان انت و كل كلب متلك ح
148
  - warmup_proportion: 0.1
149
  - l2_weight: 0.01
150
  - seed: 42
151
- - run_name: setfit_hate_2kv
152
  - eval_max_steps: -1
153
  - load_best_model_at_end: False
154
 
155
  ### Training Results
156
- | Epoch | Step | Training Loss | Validation Loss |
157
- |:------:|:----:|:-------------:|:---------------:|
158
- | 0.0004 | 1 | 0.3239 | - |
159
- | 0.04 | 100 | 0.277 | - |
160
- | 0.08 | 200 | 0.2406 | - |
161
- | 0.12 | 300 | 0.1737 | - |
162
- | 0.16 | 400 | 0.1259 | - |
163
- | 0.2 | 500 | 0.0701 | - |
164
- | 0.24 | 600 | 0.0473 | - |
165
- | 0.28 | 700 | 0.0298 | - |
166
- | 0.32 | 800 | 0.0239 | - |
167
- | 0.36 | 900 | 0.02 | - |
168
- | 0.4 | 1000 | 0.0151 | - |
169
- | 0.44 | 1100 | 0.0143 | - |
170
- | 0.48 | 1200 | 0.0126 | - |
171
- | 0.52 | 1300 | 0.0121 | - |
172
- | 0.56 | 1400 | 0.0078 | - |
173
- | 0.6 | 1500 | 0.0111 | - |
174
- | 0.64 | 1600 | 0.0099 | - |
175
- | 0.68 | 1700 | 0.0091 | - |
176
- | 0.72 | 1800 | 0.0064 | - |
177
- | 0.76 | 1900 | 0.0101 | - |
178
- | 0.8 | 2000 | 0.0073 | - |
179
- | 0.84 | 2100 | 0.0042 | - |
180
- | 0.88 | 2200 | 0.0038 | - |
181
- | 0.92 | 2300 | 0.0058 | - |
182
- | 0.96 | 2400 | 0.0041 | - |
183
- | 1.0 | 2500 | 0.0026 | - |
184
- | 1.04 | 2600 | 0.0037 | - |
185
- | 1.08 | 2700 | 0.0035 | - |
186
- | 1.12 | 2800 | 0.0045 | - |
187
- | 1.16 | 2900 | 0.0038 | - |
188
- | 1.2 | 3000 | 0.0039 | - |
189
- | 1.24 | 3100 | 0.0018 | - |
190
- | 1.28 | 3200 | 0.003 | - |
191
- | 1.32 | 3300 | 0.0028 | - |
192
- | 1.3600 | 3400 | 0.0023 | - |
193
- | 1.4 | 3500 | 0.0022 | - |
194
- | 1.44 | 3600 | 0.0032 | - |
195
- | 1.48 | 3700 | 0.0028 | - |
196
- | 1.52 | 3800 | 0.0022 | - |
197
- | 1.56 | 3900 | 0.0024 | - |
198
- | 1.6 | 4000 | 0.0021 | - |
199
- | 1.6400 | 4100 | 0.0032 | - |
200
- | 1.6800 | 4200 | 0.0026 | - |
201
- | 1.72 | 4300 | 0.0025 | - |
202
- | 1.76 | 4400 | 0.003 | - |
203
- | 1.8 | 4500 | 0.0028 | - |
204
- | 1.8400 | 4600 | 0.003 | - |
205
- | 1.88 | 4700 | 0.0028 | - |
206
- | 1.92 | 4800 | 0.0033 | - |
207
- | 1.96 | 4900 | 0.0019 | - |
208
- | 2.0 | 5000 | 0.0023 | - |
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
209
 
210
  ### Framework Versions
211
  - Python: 3.10.14
212
  - SetFit: 1.2.0.dev0
213
- - Sentence Transformers: 3.1.1
214
  - Transformers: 4.45.1
215
  - PyTorch: 2.4.0
216
  - Datasets: 3.0.1
 
10
  - text-classification
11
  - generated_from_setfit_trainer
12
  widget:
13
+ - text: يا زلمة يلي بيصنع معنا معروف بنتشكره شو ما كان يكون وانتم ادعياء الاخوة العرب
14
+ هول مش ايرانيين ولا عجم عرب متلنا متلهم
15
+ - text: لعمي
16
+ - text: هلق رجع لمن قلو الريس تبعو هش قلو مشمو على عيني ؟
17
+ - text: مثل الكليشيه وبشكل يومي في حدا بده يعاير التاني بيقوم بيشبهه بالكلب والله
18
+ اذا حدا شبهني بالكلب بعتبرها مدح شديد
19
+ - text: الله لا يحرمك من الهبل ان شاء الله
 
 
20
  inference: true
21
  model-index:
22
  - name: SetFit with akhooli/sbert_ar_nli_500k_norm
 
30
  split: test
31
  metrics:
32
  - type: accuracy
33
+ value: 0.8497652582159625
34
  name: Accuracy
35
  ---
36
 
 
62
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
63
 
64
  ### Model Labels
65
+ | Label | Examples |
66
+ |:---------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
67
+ | negative | <ul><li>'الف تحية لشيخ العقل ومشايخنا الكرام'</li><li>'بتحبو او بتكرهو انشط وزير و رئيس تيار و ديبلوماسيتو بتتدرّس'</li><li>'نعم معاليك ستظل دمشق المدينة التي تغنى بها الشعراء وهذه الكلمات خير شاهد فرشت فوق ثراك الطاهرالهدبا'</li></ul> |
68
+ | positive | <ul><li>'لسانك حصانك وحسنا فعلت قطر لتلغي مركز الأبحاث لا مرحبا بكم انتم ولا تستاهلون اي عمل لكم ناكرين المعروف'</li><li>'ارنب وبضلك ارنب ابكي بترتاح يا صرماية'</li><li>'سليمان فرنجية عبارة عن كلب مسعور لديه حاسة شم ��وية جداً شم ريحة كرسي الرئاسة ولكنه لن يجلس عليها ابداً وتصبحو على خير'</li></ul> |
69
 
70
  ## Evaluation
71
 
72
  ### Metrics
73
  | Label | Accuracy |
74
  |:--------|:---------|
75
+ | **all** | 0.8498 |
76
 
77
  ## Uses
78
 
 
92
  # Download from the 🤗 Hub
93
  model = SetFitModel.from_pretrained("akhooli/setfit_ar_hs")
94
  # Run inference
95
+ preds = model("لعمي")
96
  ```
97
 
98
  <!--
 
122
  ## Training Details
123
 
124
  ### Training Set Metrics
125
+ | Training set | Min | Median | Max |
126
+ |:-------------|:----|:--------|:----|
127
+ | Word count | 1 | 12.2323 | 52 |
128
 
129
  | Label | Training Sample Count |
130
  |:---------|:----------------------|
131
+ | negative | 1995 |
132
+ | positive | 2500 |
133
 
134
  ### Training Hyperparameters
135
  - batch_size: (32, 32)
136
  - num_epochs: (1, 1)
137
+ - max_steps: 10000
138
  - sampling_strategy: undersampling
139
  - body_learning_rate: (2e-05, 1e-05)
140
  - head_learning_rate: 0.01
 
146
  - warmup_proportion: 0.1
147
  - l2_weight: 0.01
148
  - seed: 42
149
+ - run_name: setfit_hate_25kv
150
  - eval_max_steps: -1
151
  - load_best_model_at_end: False
152
 
153
  ### Training Results
154
+ | Epoch | Step | Training Loss | Validation Loss |
155
+ |:------:|:-----:|:-------------:|:---------------:|
156
+ | 0.0002 | 1 | 0.3185 | - |
157
+ | 0.02 | 100 | 0.2901 | - |
158
+ | 0.04 | 200 | 0.2441 | - |
159
+ | 0.06 | 300 | 0.2209 | - |
160
+ | 0.08 | 400 | 0.1715 | - |
161
+ | 0.1 | 500 | 0.1304 | - |
162
+ | 0.12 | 600 | 0.0891 | - |
163
+ | 0.14 | 700 | 0.0604 | - |
164
+ | 0.16 | 800 | 0.0436 | - |
165
+ | 0.18 | 900 | 0.0408 | - |
166
+ | 0.2 | 1000 | 0.0265 | - |
167
+ | 0.22 | 1100 | 0.0239 | - |
168
+ | 0.24 | 1200 | 0.0235 | - |
169
+ | 0.26 | 1300 | 0.0232 | - |
170
+ | 0.28 | 1400 | 0.0241 | - |
171
+ | 0.3 | 1500 | 0.019 | - |
172
+ | 0.32 | 1600 | 0.0168 | - |
173
+ | 0.34 | 1700 | 0.0172 | - |
174
+ | 0.36 | 1800 | 0.0136 | - |
175
+ | 0.38 | 1900 | 0.0099 | - |
176
+ | 0.4 | 2000 | 0.0117 | - |
177
+ | 0.42 | 2100 | 0.0091 | - |
178
+ | 0.44 | 2200 | 0.0067 | - |
179
+ | 0.46 | 2300 | 0.0074 | - |
180
+ | 0.48 | 2400 | 0.0055 | - |
181
+ | 0.5 | 2500 | 0.0053 | - |
182
+ | 0.52 | 2600 | 0.0054 | - |
183
+ | 0.54 | 2700 | 0.0058 | - |
184
+ | 0.56 | 2800 | 0.0059 | - |
185
+ | 0.58 | 2900 | 0.0055 | - |
186
+ | 0.6 | 3000 | 0.0043 | - |
187
+ | 0.62 | 3100 | 0.0045 | - |
188
+ | 0.64 | 3200 | 0.0055 | - |
189
+ | 0.66 | 3300 | 0.0042 | - |
190
+ | 0.68 | 3400 | 0.0024 | - |
191
+ | 0.7 | 3500 | 0.0025 | - |
192
+ | 0.72 | 3600 | 0.0047 | - |
193
+ | 0.74 | 3700 | 0.0036 | - |
194
+ | 0.76 | 3800 | 0.0029 | - |
195
+ | 0.78 | 3900 | 0.0043 | - |
196
+ | 0.8 | 4000 | 0.0036 | - |
197
+ | 0.82 | 4100 | 0.0025 | - |
198
+ | 0.84 | 4200 | 0.0033 | - |
199
+ | 0.86 | 4300 | 0.0018 | - |
200
+ | 0.88 | 4400 | 0.0016 | - |
201
+ | 0.9 | 4500 | 0.0018 | - |
202
+ | 0.92 | 4600 | 0.0023 | - |
203
+ | 0.94 | 4700 | 0.0027 | - |
204
+ | 0.96 | 4800 | 0.0023 | - |
205
+ | 0.98 | 4900 | 0.0012 | - |
206
+ | 1.0 | 5000 | 0.0021 | - |
207
+ | 1.02 | 5100 | 0.0026 | - |
208
+ | 1.04 | 5200 | 0.0019 | - |
209
+ | 1.06 | 5300 | 0.002 | - |
210
+ | 1.08 | 5400 | 0.0022 | - |
211
+ | 1.1 | 5500 | 0.0025 | - |
212
+ | 1.12 | 5600 | 0.0033 | - |
213
+ | 1.1400 | 5700 | 0.001 | - |
214
+ | 1.16 | 5800 | 0.0016 | - |
215
+ | 1.18 | 5900 | 0.0015 | - |
216
+ | 1.2 | 6000 | 0.0008 | - |
217
+ | 1.22 | 6100 | 0.0011 | - |
218
+ | 1.24 | 6200 | 0.0012 | - |
219
+ | 1.26 | 6300 | 0.0009 | - |
220
+ | 1.28 | 6400 | 0.0012 | - |
221
+ | 1.3 | 6500 | 0.001 | - |
222
+ | 1.32 | 6600 | 0.0014 | - |
223
+ | 1.34 | 6700 | 0.0002 | - |
224
+ | 1.3600 | 6800 | 0.0005 | - |
225
+ | 1.38 | 6900 | 0.0003 | - |
226
+ | 1.4 | 7000 | 0.0001 | - |
227
+ | 1.42 | 7100 | 0.0007 | - |
228
+ | 1.44 | 7200 | 0.0003 | - |
229
+ | 1.46 | 7300 | 0.0002 | - |
230
+ | 1.48 | 7400 | 0.0005 | - |
231
+ | 1.5 | 7500 | 0.0001 | - |
232
+ | 1.52 | 7600 | 0.0003 | - |
233
+ | 1.54 | 7700 | 0.001 | - |
234
+ | 1.56 | 7800 | 0.0003 | - |
235
+ | 1.58 | 7900 | 0.0 | - |
236
+ | 1.6 | 8000 | 0.0002 | - |
237
+ | 1.62 | 8100 | 0.0 | - |
238
+ | 1.6400 | 8200 | 0.0002 | - |
239
+ | 1.6600 | 8300 | 0.0002 | - |
240
+ | 1.6800 | 8400 | 0.0 | - |
241
+ | 1.7 | 8500 | 0.0 | - |
242
+ | 1.72 | 8600 | 0.0002 | - |
243
+ | 1.74 | 8700 | 0.0002 | - |
244
+ | 1.76 | 8800 | 0.0002 | - |
245
+ | 1.78 | 8900 | 0.0002 | - |
246
+ | 1.8 | 9000 | 0.0 | - |
247
+ | 1.8200 | 9100 | 0.0004 | - |
248
+ | 1.8400 | 9200 | 0.0 | - |
249
+ | 1.8600 | 9300 | 0.0002 | - |
250
+ | 1.88 | 9400 | 0.0002 | - |
251
+ | 1.9 | 9500 | 0.0 | - |
252
+ | 1.92 | 9600 | 0.0003 | - |
253
+ | 1.94 | 9700 | 0.0 | - |
254
+ | 1.96 | 9800 | 0.0 | - |
255
+ | 1.98 | 9900 | 0.0 | - |
256
+ | 2.0 | 10000 | 0.0 | - |
257
 
258
  ### Framework Versions
259
  - Python: 3.10.14
260
  - SetFit: 1.2.0.dev0
261
+ - Sentence Transformers: 3.2.1
262
  - Transformers: 4.45.1
263
  - PyTorch: 2.4.0
264
  - Datasets: 3.0.1
config_sentence_transformers.json CHANGED
@@ -1,6 +1,6 @@
1
  {
2
  "__version__": {
3
- "sentence_transformers": "3.1.1",
4
  "transformers": "4.45.1",
5
  "pytorch": "2.4.0"
6
  },
 
1
  {
2
  "__version__": {
3
+ "sentence_transformers": "3.2.1",
4
  "transformers": "4.45.1",
5
  "pytorch": "2.4.0"
6
  },
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:aa207876d4a89ac428c7260c57c75272051dfb17bbf88ee51b56bc87c54f9a67
3
  size 540795752
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4a57cf1b94b40775394f2923ab55ef1d19c4834e85d7a2009c4176186c9e237f
3
  size 540795752
model_head.pkl CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:49f3e09533da336510f66c9419d4d76468ed0ad3e8378107f08645838e801645
3
  size 7007
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d6eeaa6c778128349ddfa446dacb3d93308083b257078b1323aa10159fafc4e0
3
  size 7007