akhooli commited on
Commit
f5e663b
1 Parent(s): f903773

Upload folder using huggingface_hub

Browse files
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 768,
3
+ "pooling_mode_cls_token": false,
4
+ "pooling_mode_mean_tokens": true,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
README.md CHANGED
@@ -1,3 +1,474 @@
1
- ---
2
- license: mit
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: aubmindlab/bert-base-arabertv02
3
+ language:
4
+ - ar
5
+ library_name: sentence-transformers
6
+ license: apache-2.0
7
+ pipeline_tag: sentence-similarity
8
+ tags:
9
+ - sentence-transformers
10
+ - sentence-similarity
11
+ - feature-extraction
12
+ - generated_from_trainer
13
+ - dataset_size:550000
14
+ - loss:Matryoshka2dLoss
15
+ - loss:MatryoshkaLoss
16
+ - loss:MultipleNegativesRankingLoss
17
+ widget:
18
+ - source_sentence: كم التبن لإطعام الحصان
19
+ sentences:
20
+ - يجب أن يشرب الماعز الصغير من أمه لمدة 8 أسابيع على الأقل قبل أن يتم فطامه لإكمال
21
+ التبن أو المرعى. سيأخذ بعض أصحاب الماعز الأطفال بعيدًا عن الأم على الفور ويغذون
22
+ بالزجاجة. سيحتفظون بها في أماكن منفصلة ، ويحلبون الأم ، ثم يسكبون الحليب في زجاجة
23
+ ويطعمون الطفل.
24
+ - التوزيع الطبيعي القياسي. التوزيع الطبيعي القياسي هو التوزيع الطبيعي بمتوسط ​​0
25
+ وانحراف معياري 1. يمكن العثور على المناطق الواقعة تحت هذا المنحنى باستخدام جدول
26
+ عادي قياسي (الجدول A في كتب Moore and Moore & McCabe المدرسية). تتضمن جميع نصوص
27
+ الإحصائيات التمهيدية هذا الجدول. قم بتنسيقه بشكل مختلف. التوزيع العادي القياسي.
28
+ التوزيع الطبيعي القياسي هو التوزيع الطبيعي بمتوسط ​​0 وانحراف معياري 1. يمكن العثور
29
+ على المناطق الواقعة تحت هذا المنحنى باستخدام جدول عادي قياسي (الجدول A في كتب
30
+ Moore and Moore & McCabe).
31
+ - إذا افترض المالكون أن 20 في المائة من التبن سوف يضيع ، فإن الحصان الذي يبلغ وزنه
32
+ 1000 رطل في المتوسط ​​سيتطلب 24 رطلاً من التبن يوميًا (20 رطلاً لتلبية التوصيات
33
+ بالإضافة إلى 4 أرطال إضافية لحساب النفايات). تغير درجات الحرارة الباردة أيضًا
34
+ متطلبات التغذية اليومية.
35
+ - source_sentence: من هم المتجولون rathkeale
36
+ sentences:
37
+ - جواب سريع. يظل السلمون النيئ المبرد طازجًا لمدة يوم إلى يومين. سمك السلمون المطبوخ
38
+ في الثلاجة آمن للأكل لمدة ثلاثة إلى أربعة أيام. توصي وزارة الزراعة الأمريكية بضبط
39
+ درجة حرارة الثلاجة على 40 درجة فهرنهايت أو أقل للحفاظ على سلامة الغذاء. أكمل القراءة.
40
+ - Rathkeale Rovers هو اسم غير رسمي يطلق على مجموعة من المجرمين ، مقرها في أيرلندا
41
+ ولكنها تعمل على المستوى الدولي. إنهم جميعًا أعضاء في مجتمع السفر الأيرلندي ، ويستخدمون
42
+ أعمال المسافر التقليدية مثل وضع مدرج المطار أو تجديد المنزل كغطاء للأنشطة غير
43
+ القانونية. ويشتهرون بكونهم أحد أغنى الأشخاص تنظيماً في العالم مجموعات الجريمة.
44
+ تشمل الجرائم المزعومة غسيل الأموال وتهريب المخدرات وسرقة الأعمال الفنية ، وجميعهم
45
+ أعضاء في مجتمع السفر الأيرلندي ، ويستخدمون أعمال المسافر التقليدية مثل وضع مدرج
46
+ المطار أو تجديد المنزل كغطاء للأنشطة غير القانونية. تشتهر بكونها واحدة من أغنى
47
+ مجموعات الجريمة المنظمة في العالم. تشمل الجرائم المزعومة غسل الأموال وتهريب المخدرات
48
+ وسرقة الأعمال الفنية.
49
+ - سام ألارديس ، مدرب سندرلاند ، كان مسؤولاً أيضًا عن وست هام يونايتد وبلاكبيرن روفرز
50
+ ونيوكاسل يونايتد وبولتون واندرارز في الدوري الإنجليزي الممتاز ، وتولى روبرتو مانشيني
51
+ منصب مدير مانشستر سيتي في عام 2009 ، وهو أول دور له في كرة القدم الإنجليزية. تولى
52
+ تدريب بولتون واندرارز ونيوكاسل يونايتد وبلاكبيرن روفرز ووست هام وسندرلاند. أدار
53
+ خمسة مدربين أربعة أندية مختلفة في الدوري الإنجليزي الممتاز. تولى رون أتكينسون
54
+ تدريب أستون فيلا وكوفنتري سيتي وشيفيلد وينزداي ، ولفترة وجيزة ، نوتنجهام فورست.
55
+ - source_sentence: ما هي الأضرار اللاحقة
56
+ sentences:
57
+ - 'سيارات فيراري: القصة. شركة سيارات فيراري هي شركة تصنيع مقرها في مارانيلو ، إيطاليا.
58
+ تأسست الشركة في عام 1929 على يد إنزو فيراري ، وكانت تُعرف في الأصل باسم سكوديريا
59
+ فيراري. صنعت سكوديريا فيراري لأول مرة سيارات السباق ، لكنها بدأت في النهاية في
60
+ إنتاج سيارات الشوارع التي تعمل بشكل قانوني بدءًا من عام 1947. تعد شركة Ferrari
61
+ S.p.A حاليًا واحدة من أنجح شركات تصنيع السيارات الرياضية في العالم.'
62
+ - 'وبطريقة أخرى ، فإن الأضرار التبعية هي نوع الأضرار التي لا يتوقعها الشخص العاقل
63
+ والعادي والحصيف ما لم يخبرهم أحدهم أن تلك الأضرار ممكنة. في قرار مستشفى رونوك
64
+ ، قرر القضاة: كانت تكاليف الفائدة المرتفعة على قرض البناء بمثابة أضرار تبعية.'
65
+ - '"بيتر: أعتقد أن ""الأضرار التبعية"" هي تسمية تُطبق على الأضرار التي يمكن استردادها
66
+ ، في غياب أحكام العقد التي تتعارض مع ذلك. ولكن الأهم من ذلك ، فإن الحالة التي
67
+ تشير إليها قد تبدو درسًا موضوعيًا في عدم الاعتماد على المصطلحات القانونية وبدلاً
68
+ من ذلك استخدام وسائل أخرى أكثر وضوحًا للحد من الأضرار."'
69
+ - source_sentence: متوسط ​​سعر الفائدة للمنازل المصنعة
70
+ sentences:
71
+ - للقيام بذلك ، نظر HSH في بيانات الربع الرابع من الرابطة الوطنية للوسطاء العقاريين
72
+ لمتوسط ​​أسعار المنازل و HSH.com في الربع الرابع متوسط ​​سعر الفائدة للرهون العقارية
73
+ ذات السعر الثابت لمدة 30 عامًا لتحديد مقدار الأموال التي يحتاجها مشترو المنازل
74
+ لكسبها من أجل تحمل المبلغ الأساسي ودفع الفائدة فقط على منزل متوسط ​​السعر في السوق.
75
+ - '"جورج هاميلتون في بالم بيتش عام 2013. لم يكن الكولونيل ساندرز بهذا الاسمرار من
76
+ قبل. في إعلان تجاري جديد يصنع جولات على YouTube لليوم الوطني للدجاج المقلي ، يلعب
77
+ بالم بيتش جورج هاميلتون دور ""العقيد المقرمش الإضافي ،"" ¢ â واحد من عدة إعلانات
78
+ عبر الإنترنت قام الممثل بوليفاردير بعملها لسلسلة الدجاج هذا الصيف."'
79
+ - قدر مكتب الحماية المالية للمستهلك معدل الفائدة النموذجي لقرض شراء منزل مصنّع في
80
+ عام 2012 بنسبة 6.79٪. على النقيض من ذلك ، كان متوسط ​​معدل الفائدة الثابت لمدة
81
+ 30 عامًا على الرهن العقاري التقليدي في ذلك العام من 3.6 إلى 4.2 في المائة ، وفقًا
82
+ لموقع HSH.com ، ناشر معلومات القروض.
83
+ - source_sentence: لماذا رائحة الغسيل بعد الغسيل
84
+ sentences:
85
+ - 'كيفية التخلص من الرائحة: إذا تم اكتشافها على الفور ، فعادة ما يكون غسل الملابس
86
+ مرة أخرى هو كل ما يلزم لإزالة الروائح الكريهة. إذا لم ينجح ذلك وما زلت تواجه مشاكل
87
+ ، جرب إحدى الطرق التالية: اغسل مرة أخرى ولكن هذه المرة أضف كوبًا واحدًا من الخل
88
+ إلى الحمولة (جنبًا إلى جنب مع منظف الغسيل).'
89
+ - Honorificabilitudinitatibus هي كلمة مكونة من 27 حرفًا ، وتعني بصيغة الجمع أن تكون
90
+ في حالة القدرة على الحصول على مرتبة الشرف. تصادف أن تكون الكلمة أطول كلمة استخدمها
91
+ شكسبير على الإطلاق ، لكن جذورها تعود إلى قرون قبل عصره إلى القرن الحادي عشر على
92
+ الأقل.
93
+ - حافظ على ملابسك منتعشة وجافة بالمجفف الكهربائي من سيرز. عندما يدور يوم الغسيل
94
+ ، يمكنك الاعتماد على الأداء الفعال للمجفف الكهربائي. يحتوي سيرز على مجففات تناسب
95
+ ديكور أي غرفة غسيل. من الفولاذ المقاوم للصدأ إلى تشطيبات الأونيكس ، يسهل تنسيق
96
+ هذا الجهاز الأني�� مع الغسالة التي تختارها.
97
+ ---
98
+
99
+ # BERT base trained on 500k Arabic NLI triplets
100
+
101
+ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [aubmindlab/bert-base-arabertv02](https://huggingface.co/aubmindlab/bert-base-arabertv02). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
102
+
103
+ ## Model Details
104
+
105
+ ### Model Description
106
+ - **Model Type:** Sentence Transformer
107
+ - **Base model:** [aubmindlab/bert-base-arabertv02](https://huggingface.co/aubmindlab/bert-base-arabertv02) <!-- at revision 016fb9d6768f522a59c6e0d2d5d5d43a4e1bff60 -->
108
+ - **Maximum Sequence Length:** 512 tokens
109
+ - **Output Dimensionality:** 768 tokens
110
+ - **Similarity Function:** Cosine Similarity
111
+ <!-- - **Training Dataset:** Unknown -->
112
+ - **Language:** ar
113
+ - **License:** apache-2.0
114
+
115
+ ### Model Sources
116
+
117
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
118
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
119
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
120
+
121
+ ### Full Model Architecture
122
+
123
+ ```
124
+ SentenceTransformer(
125
+ (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel
126
+ (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
127
+ )
128
+ ```
129
+
130
+ ## Usage
131
+
132
+ ### Direct Usage (Sentence Transformers)
133
+
134
+ First install the Sentence Transformers library:
135
+
136
+ ```bash
137
+ pip install -U sentence-transformers
138
+ ```
139
+
140
+ Then you can load this model and run inference.
141
+ ```python
142
+ from sentence_transformers import SentenceTransformer
143
+
144
+ # Download from the 🤗 Hub
145
+ model = SentenceTransformer("sentence_transformers_model_id")
146
+ # Run inference
147
+ sentences = [
148
+ 'لماذا رائحة الغسيل بعد الغسيل',
149
+ 'كيفية التخلص من الرائحة: إذا تم اكتشافها على الفور ، فعادة ما يكون غسل الملابس مرة أخرى هو كل ما يلزم لإزالة الروائح الكريهة. إذا لم ينجح ذلك وما زلت تواجه مشاكل ، جرب إحدى الطرق التالية: اغسل مرة أخرى ولكن هذه المرة أضف كوبًا واحدًا من الخل إلى الحمولة (جنبًا إلى جنب مع منظف الغسيل).',
150
+ 'حافظ على ملابسك منتعشة وجافة بالمجفف الكهربائي من سيرز. عندما يدور يوم الغسيل ، يمكنك الاعتماد على الأداء الفعال للمجفف الكهربائي. يحتوي سيرز على مجففات تناسب ديكور أي غرفة غسيل. من الفولاذ المقاوم للصدأ إلى تشطيبات الأونيكس ، يسهل تنسيق هذا الجهاز الأنيق مع الغسالة التي تختارها.',
151
+ ]
152
+ embeddings = model.encode(sentences)
153
+ print(embeddings.shape)
154
+ # [3, 768]
155
+
156
+ # Get the similarity scores for the embeddings
157
+ similarities = model.similarity(embeddings, embeddings)
158
+ print(similarities.shape)
159
+ # [3, 3]
160
+ ```
161
+
162
+ <!--
163
+ ### Direct Usage (Transformers)
164
+
165
+ <details><summary>Click to see the direct usage in Transformers</summary>
166
+
167
+ </details>
168
+ -->
169
+
170
+ <!--
171
+ ### Downstream Usage (Sentence Transformers)
172
+
173
+ You can finetune this model on your own dataset.
174
+
175
+ <details><summary>Click to expand</summary>
176
+
177
+ </details>
178
+ -->
179
+
180
+ <!--
181
+ ### Out-of-Scope Use
182
+
183
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
184
+ -->
185
+
186
+ <!--
187
+ ## Bias, Risks and Limitations
188
+
189
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
190
+ -->
191
+
192
+ <!--
193
+ ### Recommendations
194
+
195
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
196
+ -->
197
+
198
+ ## Training Details
199
+
200
+ ### Training Hyperparameters
201
+ #### Non-Default Hyperparameters
202
+
203
+ - `eval_strategy`: steps
204
+ - `per_device_train_batch_size`: 32
205
+ - `per_device_eval_batch_size`: 32
206
+ - `learning_rate`: 2e-05
207
+ - `num_train_epochs`: 1
208
+ - `warmup_ratio`: 0.1
209
+ - `fp16`: True
210
+ - `batch_sampler`: no_duplicates
211
+
212
+ #### All Hyperparameters
213
+ <details><summary>Click to expand</summary>
214
+
215
+ - `overwrite_output_dir`: False
216
+ - `do_predict`: False
217
+ - `eval_strategy`: steps
218
+ - `prediction_loss_only`: True
219
+ - `per_device_train_batch_size`: 32
220
+ - `per_device_eval_batch_size`: 32
221
+ - `per_gpu_train_batch_size`: None
222
+ - `per_gpu_eval_batch_size`: None
223
+ - `gradient_accumulation_steps`: 1
224
+ - `eval_accumulation_steps`: None
225
+ - `torch_empty_cache_steps`: None
226
+ - `learning_rate`: 2e-05
227
+ - `weight_decay`: 0.0
228
+ - `adam_beta1`: 0.9
229
+ - `adam_beta2`: 0.999
230
+ - `adam_epsilon`: 1e-08
231
+ - `max_grad_norm`: 1.0
232
+ - `num_train_epochs`: 1
233
+ - `max_steps`: -1
234
+ - `lr_scheduler_type`: linear
235
+ - `lr_scheduler_kwargs`: {}
236
+ - `warmup_ratio`: 0.1
237
+ - `warmup_steps`: 0
238
+ - `log_level`: passive
239
+ - `log_level_replica`: warning
240
+ - `log_on_each_node`: True
241
+ - `logging_nan_inf_filter`: True
242
+ - `save_safetensors`: True
243
+ - `save_on_each_node`: False
244
+ - `save_only_model`: False
245
+ - `restore_callback_states_from_checkpoint`: False
246
+ - `no_cuda`: False
247
+ - `use_cpu`: False
248
+ - `use_mps_device`: False
249
+ - `seed`: 42
250
+ - `data_seed`: None
251
+ - `jit_mode_eval`: False
252
+ - `use_ipex`: False
253
+ - `bf16`: False
254
+ - `fp16`: True
255
+ - `fp16_opt_level`: O1
256
+ - `half_precision_backend`: auto
257
+ - `bf16_full_eval`: False
258
+ - `fp16_full_eval`: False
259
+ - `tf32`: None
260
+ - `local_rank`: 0
261
+ - `ddp_backend`: None
262
+ - `tpu_num_cores`: None
263
+ - `tpu_metrics_debug`: False
264
+ - `debug`: []
265
+ - `dataloader_drop_last`: False
266
+ - `dataloader_num_workers`: 0
267
+ - `dataloader_prefetch_factor`: None
268
+ - `past_index`: -1
269
+ - `disable_tqdm`: False
270
+ - `remove_unused_columns`: True
271
+ - `label_names`: None
272
+ - `load_best_model_at_end`: False
273
+ - `ignore_data_skip`: False
274
+ - `fsdp`: []
275
+ - `fsdp_min_num_params`: 0
276
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
277
+ - `fsdp_transformer_layer_cls_to_wrap`: None
278
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
279
+ - `deepspeed`: None
280
+ - `label_smoothing_factor`: 0.0
281
+ - `optim`: adamw_torch
282
+ - `optim_args`: None
283
+ - `adafactor`: False
284
+ - `group_by_length`: False
285
+ - `length_column_name`: length
286
+ - `ddp_find_unused_parameters`: None
287
+ - `ddp_bucket_cap_mb`: None
288
+ - `ddp_broadcast_buffers`: False
289
+ - `dataloader_pin_memory`: True
290
+ - `dataloader_persistent_workers`: False
291
+ - `skip_memory_metrics`: True
292
+ - `use_legacy_prediction_loop`: False
293
+ - `push_to_hub`: False
294
+ - `resume_from_checkpoint`: None
295
+ - `hub_model_id`: None
296
+ - `hub_strategy`: every_save
297
+ - `hub_private_repo`: False
298
+ - `hub_always_push`: False
299
+ - `gradient_checkpointing`: False
300
+ - `gradient_checkpointing_kwargs`: None
301
+ - `include_inputs_for_metrics`: False
302
+ - `eval_do_concat_batches`: True
303
+ - `fp16_backend`: auto
304
+ - `push_to_hub_model_id`: None
305
+ - `push_to_hub_organization`: None
306
+ - `mp_parameters`:
307
+ - `auto_find_batch_size`: False
308
+ - `full_determinism`: False
309
+ - `torchdynamo`: None
310
+ - `ray_scope`: last
311
+ - `ddp_timeout`: 1800
312
+ - `torch_compile`: False
313
+ - `torch_compile_backend`: None
314
+ - `torch_compile_mode`: None
315
+ - `dispatch_batches`: None
316
+ - `split_batches`: None
317
+ - `include_tokens_per_second`: False
318
+ - `include_num_input_tokens_seen`: False
319
+ - `neftune_noise_alpha`: None
320
+ - `optim_target_modules`: None
321
+ - `batch_eval_metrics`: False
322
+ - `eval_on_start`: False
323
+ - `eval_use_gather_object`: False
324
+ - `batch_sampler`: no_duplicates
325
+ - `multi_dataset_batch_sampler`: proportional
326
+
327
+ </details>
328
+
329
+ ### Training Logs
330
+ | Epoch | Step | Training Loss | loss |
331
+ |:-----:|:-----:|:-------------:|:------:|
332
+ | 0.016 | 250 | 4.065 | - |
333
+ | 0.032 | 500 | 1.9888 | - |
334
+ | 0.048 | 750 | 1.4433 | - |
335
+ | 0.064 | 1000 | 1.2331 | - |
336
+ | 0.08 | 1250 | 1.0376 | - |
337
+ | 0.096 | 1500 | 1.0282 | - |
338
+ | 0.112 | 1750 | 0.892 | - |
339
+ | 0.128 | 2000 | 0.8597 | - |
340
+ | 0.144 | 2250 | 0.8105 | - |
341
+ | 0.16 | 2500 | 0.8397 | - |
342
+ | 0.176 | 2750 | 0.7831 | - |
343
+ | 0.192 | 3000 | 0.7718 | - |
344
+ | 0.208 | 3250 | 0.7466 | - |
345
+ | 0.224 | 3500 | 0.7199 | - |
346
+ | 0.24 | 3750 | 0.717 | - |
347
+ | 0.256 | 4000 | 0.6693 | - |
348
+ | 0.272 | 4250 | 0.6473 | - |
349
+ | 0.288 | 4500 | 0.6388 | - |
350
+ | 0.304 | 4750 | 0.6226 | - |
351
+ | 0.32 | 5000 | 0.5967 | 0.5908 |
352
+ | 0.336 | 5250 | 0.5971 | - |
353
+ | 0.352 | 5500 | 0.6453 | - |
354
+ | 0.368 | 5750 | 0.6468 | - |
355
+ | 0.384 | 6000 | 0.5849 | - |
356
+ | 0.4 | 6250 | 0.5552 | - |
357
+ | 0.416 | 6500 | 0.512 | - |
358
+ | 0.432 | 6750 | 0.5825 | - |
359
+ | 0.448 | 7000 | 0.5895 | - |
360
+ | 0.464 | 7250 | 0.5453 | - |
361
+ | 0.48 | 7500 | 0.5453 | - |
362
+ | 0.496 | 7750 | 0.5034 | - |
363
+ | 0.512 | 8000 | 0.5756 | - |
364
+ | 0.528 | 8250 | 0.5576 | - |
365
+ | 0.544 | 8500 | 0.55 | - |
366
+ | 0.56 | 8750 | 0.5191 | - |
367
+ | 0.576 | 9000 | 0.5104 | - |
368
+ | 0.592 | 9250 | 0.5062 | - |
369
+ | 0.608 | 9500 | 0.5493 | - |
370
+ | 0.624 | 9750 | 0.5131 | - |
371
+ | 0.64 | 10000 | 0.5276 | 0.4551 |
372
+ | 0.656 | 10250 | 0.5332 | - |
373
+ | 0.672 | 10500 | 0.5076 | - |
374
+ | 0.688 | 10750 | 0.511 | - |
375
+ | 0.704 | 11000 | 0.448 | - |
376
+ | 0.72 | 11250 | 0.4928 | - |
377
+ | 0.736 | 11500 | 0.4492 | - |
378
+ | 0.752 | 11750 | 0.4514 | - |
379
+ | 0.768 | 12000 | 0.4749 | - |
380
+ | 0.784 | 12250 | 0.4765 | - |
381
+ | 0.8 | 12500 | 0.5043 | - |
382
+ | 0.816 | 12750 | 0.4617 | - |
383
+ | 0.832 | 13000 | 0.4845 | - |
384
+ | 0.848 | 13250 | 0.5101 | - |
385
+ | 0.864 | 13500 | 0.4759 | - |
386
+ | 0.88 | 13750 | 0.4824 | - |
387
+ | 0.896 | 14000 | 0.4646 | - |
388
+ | 0.912 | 14250 | 0.4504 | - |
389
+ | 0.928 | 14500 | 0.4603 | - |
390
+ | 0.944 | 14750 | 0.4645 | - |
391
+ | 0.96 | 15000 | 0.4688 | 0.4054 |
392
+ | 0.976 | 15250 | 0.506 | - |
393
+ | 0.992 | 15500 | 0.4604 | - |
394
+
395
+
396
+ ### Framework Versions
397
+ - Python: 3.10.14
398
+ - Sentence Transformers: 3.1.1
399
+ - Transformers: 4.44.2
400
+ - PyTorch: 2.4.0
401
+ - Accelerate: 0.34.2
402
+ - Datasets: 3.0.0
403
+ - Tokenizers: 0.19.1
404
+
405
+ ## Citation
406
+
407
+ ### BibTeX
408
+
409
+ #### Sentence Transformers
410
+ ```bibtex
411
+ @inproceedings{reimers-2019-sentence-bert,
412
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
413
+ author = "Reimers, Nils and Gurevych, Iryna",
414
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
415
+ month = "11",
416
+ year = "2019",
417
+ publisher = "Association for Computational Linguistics",
418
+ url = "https://arxiv.org/abs/1908.10084",
419
+ }
420
+ ```
421
+
422
+ #### Matryoshka2dLoss
423
+ ```bibtex
424
+ @misc{li20242d,
425
+ title={2D Matryoshka Sentence Embeddings},
426
+ author={Xianming Li and Zongxi Li and Jing Li and Haoran Xie and Qing Li},
427
+ year={2024},
428
+ eprint={2402.14776},
429
+ archivePrefix={arXiv},
430
+ primaryClass={cs.CL}
431
+ }
432
+ ```
433
+
434
+ #### MatryoshkaLoss
435
+ ```bibtex
436
+ @misc{kusupati2024matryoshka,
437
+ title={Matryoshka Representation Learning},
438
+ author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
439
+ year={2024},
440
+ eprint={2205.13147},
441
+ archivePrefix={arXiv},
442
+ primaryClass={cs.LG}
443
+ }
444
+ ```
445
+
446
+ #### MultipleNegativesRankingLoss
447
+ ```bibtex
448
+ @misc{henderson2017efficient,
449
+ title={Efficient Natural Language Response Suggestion for Smart Reply},
450
+ author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
451
+ year={2017},
452
+ eprint={1705.00652},
453
+ archivePrefix={arXiv},
454
+ primaryClass={cs.CL}
455
+ }
456
+ ```
457
+
458
+ <!--
459
+ ## Glossary
460
+
461
+ *Clearly define terms in order to be accessible across audiences.*
462
+ -->
463
+
464
+ <!--
465
+ ## Model Card Authors
466
+
467
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
468
+ -->
469
+
470
+ <!--
471
+ ## Model Card Contact
472
+
473
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
474
+ -->
config.json ADDED
@@ -0,0 +1,25 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "aubmindlab/bert-base-arabertv02",
3
+ "architectures": [
4
+ "BertModel"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "classifier_dropout": null,
8
+ "hidden_act": "gelu",
9
+ "hidden_dropout_prob": 0.1,
10
+ "hidden_size": 768,
11
+ "initializer_range": 0.02,
12
+ "intermediate_size": 3072,
13
+ "layer_norm_eps": 1e-12,
14
+ "max_position_embeddings": 512,
15
+ "model_type": "bert",
16
+ "num_attention_heads": 12,
17
+ "num_hidden_layers": 12,
18
+ "pad_token_id": 0,
19
+ "position_embedding_type": "absolute",
20
+ "torch_dtype": "float32",
21
+ "transformers_version": "4.44.2",
22
+ "type_vocab_size": 2,
23
+ "use_cache": true,
24
+ "vocab_size": 64000
25
+ }
config_sentence_transformers.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "3.1.1",
4
+ "transformers": "4.44.2",
5
+ "pytorch": "2.4.0"
6
+ },
7
+ "prompts": {},
8
+ "default_prompt_name": null,
9
+ "similarity_fn_name": null
10
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c75d3fbe575045b5993ac9c7b06813c61c5b6884f56fe8ae7b9e87e68e417822
3
+ size 540795752
modules.json ADDED
@@ -0,0 +1,14 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ }
14
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 512,
3
+ "do_lower_case": false
4
+ }
special_tokens_map.json ADDED
@@ -0,0 +1,37 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "cls_token": {
3
+ "content": "[CLS]",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "mask_token": {
10
+ "content": "[MASK]",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "pad_token": {
17
+ "content": "[PAD]",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "sep_token": {
24
+ "content": "[SEP]",
25
+ "lstrip": false,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "unk_token": {
31
+ "content": "[UNK]",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ }
37
+ }
tokenizer.json ADDED
The diff for this file is too large to render. See raw diff
 
tokenizer_config.json ADDED
@@ -0,0 +1,86 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "[PAD]",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "[UNK]",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "[CLS]",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "[SEP]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "4": {
36
+ "content": "[MASK]",
37
+ "lstrip": false,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ },
43
+ "5": {
44
+ "content": "[رابط]",
45
+ "lstrip": false,
46
+ "normalized": true,
47
+ "rstrip": false,
48
+ "single_word": true,
49
+ "special": true
50
+ },
51
+ "6": {
52
+ "content": "[بريد]",
53
+ "lstrip": false,
54
+ "normalized": true,
55
+ "rstrip": false,
56
+ "single_word": true,
57
+ "special": true
58
+ },
59
+ "7": {
60
+ "content": "[مستخدم]",
61
+ "lstrip": false,
62
+ "normalized": true,
63
+ "rstrip": false,
64
+ "single_word": true,
65
+ "special": true
66
+ }
67
+ },
68
+ "clean_up_tokenization_spaces": true,
69
+ "cls_token": "[CLS]",
70
+ "do_basic_tokenize": true,
71
+ "do_lower_case": false,
72
+ "mask_token": "[MASK]",
73
+ "max_len": 512,
74
+ "model_max_length": 512,
75
+ "never_split": [
76
+ "[بريد]",
77
+ "[مستخدم]",
78
+ "[رابط]"
79
+ ],
80
+ "pad_token": "[PAD]",
81
+ "sep_token": "[SEP]",
82
+ "strip_accents": null,
83
+ "tokenize_chinese_chars": true,
84
+ "tokenizer_class": "BertTokenizer",
85
+ "unk_token": "[UNK]"
86
+ }
vocab.txt ADDED
The diff for this file is too large to render. See raw diff