README.md

---
base_model: aubmindlab/bert-base-arabertv02
language:
- ar
library_name: sentence-transformers
license: apache-2.0
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:550000
- loss:Matryoshka2dLoss
- loss:MatryoshkaLoss
- loss:MultipleNegativesRankingLoss
widget:
- source_sentence: ماذا كانت اسماء اطفال تشارلز ديكنز
  sentences:
  - 'المفاهيم ذات الصلة: النظام الأساسي ، وجمعيات المحامين ، والجمعيات النافعة ، ودعوة
    الجمعيات ، والجمعيات المساهمة ، وجمعيات المنفعة المتبادلة ، والجمعيات المهنية
    ، والجمعيات غير المسجلة ، والجمعيات الطوعية ، والتي سمعتها هذه الجمعية بقراءتها
    ، مع شعور بالرضا التام ، وموافقة غير مشروطة ، الورقة التي أرسلها صمويل بيكويك
    ، إسق. أوراق ما بعد الوفاة لنادي بيكويك بقلم ديكنز ، عرض تشارلز في السياق. ورأى
    أن هذه الرابطة كانت مجرد مذيع لإنقاذه من ازدراء الذات.'
  - لا تتعرق. تحدث أنابيب التعرق عندما يكون الماء داخل الأنبوب أبرد من الهواء الرطب
    المحيط به. في حين أن هذا قد يبدو وكأنه مشكلة خاصة بفصل الصيف ، إلا أنه يحدث في
    كثير من الأحيان عندما يتم تسخين الهواء بواسطة الفرن. عندما يلتقي الهواء الرطب
    الدافئ بالأنابيب الباردة ، تتشكل الرطوبة في القطرات وتسقط تلك الحبة على الجزء
    الخارجي من الأنبوب.
  - كان تشارلز ديكنز متزوجًا من كاثرين طومسون هوغارث. أسماء أطفالهم كانت ماري وكيت
    ووالتر وفرانسيس وألفريد وسيدني وهنري ودرة وإدوارد وتشارلز ديكنز ¢â JR.
- source_sentence: ما هو باء
  sentences:
  - Ib (࣠¤ÃÂÃ' £ ƒ´ Ivu) هو بطل الرواية الصامت للعبة الرعب Ib وأول شخصية يمكن التحكم
    فيها في اللعبة. هي ، إلى جانب Garry and Mary (الإصدار 1.04) ، هي واحدة من الشخصيات
    القليلة التي يمكن للاعب التحكم فيها. إب فتاة تبلغ من العمر تسع سنوات ذات شعر بني
    وعيون حمراء.
  - 'نمط الحياة والعلاجات المنزلية. قد تساعد الخطوات التالية في تخفيف الأعراض المتعلقة
    بالتهاب الجنبة: 1 تناول الدواء. 2 تناول الأدوية مثل إيبوبروفين (أدفيل ، وموترين
    آي بي ، وغيرهما) حسب الحاجة لتخفيف الألم والالتهاب. 3 احصل على قسط وافر من الراحة.
    4 ابحث عن الموضع الذي يسبب لك أقل قدر من الانزعاج وحاول البقاء فيه.'
  - موظف يتولى المعاملات المالية للشركة. في معظم الحالات ، يعمل أمين الصندوق مباشرة
    في ماكينة تسجيل المدفوعات النقدية ، حيث يقوم بإبلاغ مشتريات العميل وتحصيل مدفوعاتهم.
    تم العثور على الصرافين في أي مكان تقريبًا يمكن للعميل شراء عنصر فيه ، مثل محلات
    السوبر ماركت والمطاعم ومحلات البيع بالتجزئة.
- source_sentence: ما هي مقاطعة كوماك نيويورك
  sentences:
  - مقاطعة هاميلتون ، نيويورك. لا ينبغي الخلط بينه وبين هاملتون ، نيويورك أو هاميلتون
    (قرية) ، نيويورك. مقاطعة هاميلتون هي إحدى مقاطعات ولاية نيويورك الأمريكية. اعتبارًا
    من تعداد عام 2010 ، كان عدد السكان 4836 ، مما يجعلها أقل مقاطعة في نيويورك من
    حيث عدد السكان. مقرها في مقاطعة ليك بليزانت.
  - القوارب هي الأعمال التجارية لكارين مايلز. تمتلك هي وعائلتها Devil's Elbow على
    الممر المائي Intracoastal بالقرب من Crescent Beach منذ أكثر من 50 عامًا. إنها
    منشأة صيد شاملة مع منحدر للقوارب ومتجر للطعم والأدوات واستئجار القوارب ومنازل
    ريفية. يقع على بعد ثلاثة أميال شمال خليج ماتانزاس ، ومدخل ماتانزاس في مقاطعة سانت
    جونز الجنوبية أضيق مما كان عليه قبل ثلاث سنوات فقط لأن الرمال بدأت تملأ المدخل.
    يقول ضباط الحياة البرية إن منطقة واحدة أو منطقتين فقط بين أعمدة الجسر صالحة للملاحة
    للقوارب الصغيرة الآن ، وقد امتلكت هي وعائلتها Devil's Elbow على الممر المائي Intracoastal
    بالقرب من Crescent Beach منذ أكثر من 50 عامًا. إنها منشأة صيد شاملة مع منحدر للقوارب
    ومتجر للطعم والأدوات واستئجار القوارب ومنازل ريفية. إنها ثلاثة أميال شمال خليج
    ماتانزاس.
  - كوماك ، نيويورك. كوماك / كيوماك / هو مكان مخصص للإحصاء (CDP) يتوافق تقريبًا مع
    القرية الصغيرة التي تحمل الاسم نفسه في مدينتي هنتنغتون وسميثتاون في مقاطعة سوفولك
    ، نيويورك ، الولايات المتحدة في لونغ آيلاند.
- source_sentence: ما معنى علاقة د / ث
  sentences:
  - الهيمنة والخضوع (وتسمى أيضًا D / s) هي مجموعة من السلوكيات والعادات والطقوس التي
    تنطوي على خضوع شخص لآخر في حلقة مثيرة أو نمط حياة. إنها مجموعة فرعية من BDSM.
    الاتصال الجسدي ليس ضروريًا ، ويمكن إجراء D / s بشكل مجهول عبر الهاتف أو البريد
    الإلكتروني أو أنظمة المراسلة الأخرى.
  - '"ما هو CRM؟ ما هو CRM؟ CRM يرمز إلى إدارة علاقات العملاء ، وقد تمت صياغته لأول
    مرة في التسعينيات. كان المعنى الحرفي والأصلي لتعبير ""إدارة علاقات العملاء"" ،
    ببساطة ، هو إدارة العلاقة مع عميلك. يتم استخدامه اليوم لوصف أنظمة تكنولوجيا المعلومات
    والبرامج المصممة لمساعدتك في إدارة هذه العلاقة."'
  - 'أفضل إجابة: إن exaust بدون catless هو نظام exaust للسيارات لا يحتوي على محول
    حفاز. إذا كان النظام لا يستدعي واحدًا ، فلا يجب عليك إدخاله. وإذا تطلب الأمر ،
    فلا يجب أن تخلعه. سيؤثر إيقاف تشغيل المحول الحفاز على أداء وعمر المحرك. المحول
    الحفاز أو القط هو أحد مكونات نظام العادم الذي يسخن بشكل أساسي الغازات غير المحترقة
    لمنعها من الخروج من السيارة وشق طريقها إلى الغلاف الجوي ... بشكل صارم منظم للانبعاثات.'
- source_sentence: في أي مدينة تقع الحديقة الوطنية الجليدية
  sentences:
  - الحديقة الجليدية الوطنية هي حديقة وطنية تقع في ولاية مونتانا الأمريكية ، على الحدود
    الكندية للولايات المتحدة مع المقاطعات الكندية في ألبرتا وكولومبيا البريطانية.
    حرائق الغابات الكبيرة غير شائعة في المنتزه. ومع ذلك ، في عام 2003 تم حرق أكثر
    من 13٪ من المتنزه. حديقة جلاسير الوطنية تقع على حدود متنزه ووترتون ليكس الوطني
    في كندا - يُعرف المنتزهان باسم منتزه واترتون-جلاسير الدولي للسلام وتم تصنيفهما
    كأول منتزه سلام دولي في العالم في عام 1932.
  - أسعار Thera-Gesic Plus. يعتمد دليل أسعار Thera-Gesic Plus هذا على استخدام بطاقة
    خصم Drugs.com المقبولة في معظم الصيدليات الأمريكية. تبلغ تكلفة كريم Thera-Gesic
    Plus الموضعي (4٪ -25٪) حوالي 13 دولارًا مقابل 85 جرامًا ، اعتمادًا على الصيدلية
    التي تزورها. الأسعار مخصصة للعملاء الذين يدفعون نقدًا فقط ولا تسري مع خطط التأمين.
  - 'تصوير: ايرين كونويل - رويترز. 1 بواسطة Alex Dobuzinskis. (2 رويترز) - قال مسؤولون
    إن حريقًا هائلًا في منتزه مونتانا الجليدي الوطني اندلع لليوم الرابع من خلال الأخشاب
    الثقيلة يوم الجمعة خلال ذروة موسم الزائرين ، بينما اجتاح حريق آخر في شمال كاليفورنيا
    الجبال فوق منطقة نبيذ وادي نابا.'
---

# BERT base trained on 500k Arabic NLI triplets

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [aubmindlab/bert-base-arabertv02](https://huggingface.co/aubmindlab/bert-base-arabertv02). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [aubmindlab/bert-base-arabertv02](https://huggingface.co/aubmindlab/bert-base-arabertv02) <!-- at revision 016fb9d6768f522a59c6e0d2d5d5d43a4e1bff60 -->
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 768 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
- **Language:** ar
- **License:** apache-2.0

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'في أي مدينة تقع الحديقة الوطنية الجليدية',
    'الحديقة الجليدية الوطنية هي حديقة وطنية تقع في ولاية مونتانا الأمريكية ، على الحدود الكندية للولايات المتحدة مع المقاطعات الكندية في ألبرتا وكولومبيا البريطانية. حرائق الغابات الكبيرة غير شائعة في المنتزه. ومع ذلك ، في عام 2003 تم حرق أكثر من 13٪ من المتنزه. حديقة جلاسير الوطنية تقع على حدود متنزه ووترتون ليكس الوطني في كندا - يُعرف المنتزهان باسم منتزه واترتون-جلاسير الدولي للسلام وتم تصنيفهما كأول منتزه سلام دولي في العالم في عام 1932.',
    'تصوير: ايرين كونويل - رويترز. 1 بواسطة Alex Dobuzinskis. (2 رويترز) - قال مسؤولون إن حريقًا هائلًا في منتزه مونتانا الجليدي الوطني اندلع لليوم الرابع من خلال الأخشاب الثقيلة يوم الجمعة خلال ذروة موسم الزائرين ، بينما اجتاح حريق آخر في شمال كاليفورنيا الجبال فوق منطقة نبيذ وادي نابا.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Hyperparameters
#### Non-Default Hyperparameters

- `eval_strategy`: steps
- `per_device_train_batch_size`: 32
- `per_device_eval_batch_size`: 32
- `learning_rate`: 2e-05
- `num_train_epochs`: 1
- `warmup_ratio`: 0.1
- `fp16`: True
- `batch_sampler`: no_duplicates

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: steps
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 32
- `per_device_eval_batch_size`: 32
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 1
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: True
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `batch_sampler`: no_duplicates
- `multi_dataset_batch_sampler`: proportional

</details>

### Training Logs
| Epoch | Step  | Training Loss | loss   |
|:-----:|:-----:|:-------------:|:------:|
| 0.016 | 250   | 4.087         | -      |
| 0.032 | 500   | 1.9943        | -      |
| 0.048 | 750   | 1.4472        | -      |
| 0.064 | 1000  | 1.2324        | -      |
| 0.08  | 1250  | 1.0402        | -      |
| 0.096 | 1500  | 1.0357        | -      |
| 0.112 | 1750  | 0.8857        | -      |
| 0.128 | 2000  | 0.8617        | -      |
| 0.144 | 2250  | 0.8101        | -      |
| 0.16  | 2500  | 0.8452        | -      |
| 0.176 | 2750  | 0.7949        | -      |
| 0.192 | 3000  | 0.7706        | -      |
| 0.208 | 3250  | 0.7518        | -      |
| 0.224 | 3500  | 0.7217        | -      |
| 0.24  | 3750  | 0.7225        | -      |
| 0.256 | 4000  | 0.6761        | -      |
| 0.272 | 4250  | 0.6492        | -      |
| 0.288 | 4500  | 0.6379        | -      |
| 0.304 | 4750  | 0.6225        | -      |
| 0.32  | 5000  | 0.5899        | 0.5937 |
| 0.336 | 5250  | 0.6406        | -      |
| 0.352 | 5500  | 0.6109        | -      |
| 0.368 | 5750  | 0.5964        | -      |
| 0.384 | 6000  | 0.5325        | -      |
| 0.4   | 6250  | 0.5633        | -      |
| 0.416 | 6500  | 0.5652        | -      |
| 0.432 | 6750  | 0.6109        | -      |
| 0.448 | 7000  | 0.527         | -      |
| 0.464 | 7250  | 0.5215        | -      |
| 0.48  | 7500  | 0.5508        | -      |
| 0.496 | 7750  | 0.5832        | -      |
| 0.512 | 8000  | 0.5817        | -      |
| 0.528 | 8250  | 0.5617        | -      |
| 0.544 | 8500  | 0.4963        | -      |
| 0.56  | 8750  | 0.5168        | -      |
| 0.576 | 9000  | 0.5251        | -      |
| 0.592 | 9250  | 0.5439        | -      |
| 0.608 | 9500  | 0.4962        | -      |
| 0.624 | 9750  | 0.5638        | -      |
| 0.64  | 10000 | 0.4764        | 0.4306 |
| 0.656 | 10250 | 0.531         | -      |
| 0.672 | 10500 | 0.4901        | -      |
| 0.688 | 10750 | 0.5076        | -      |
| 0.704 | 11000 | 0.4384        | -      |
| 0.72  | 11250 | 0.4971        | -      |
| 0.736 | 11500 | 0.4457        | -      |
| 0.752 | 11750 | 0.4603        | -      |
| 0.768 | 12000 | 0.4854        | -      |
| 0.784 | 12250 | 0.4702        | -      |
| 0.8   | 12500 | 0.5154        | -      |
| 0.816 | 12750 | 0.4619        | -      |
| 0.832 | 13000 | 0.4829        | -      |
| 0.848 | 13250 | 0.5101        | -      |
| 0.864 | 13500 | 0.4641        | -      |
| 0.88  | 13750 | 0.4797        | -      |
| 0.896 | 14000 | 0.4632        | -      |
| 0.912 | 14250 | 0.4578        | -      |
| 0.928 | 14500 | 0.4552        | -      |
| 0.944 | 14750 | 0.4636        | -      |
| 0.96  | 15000 | 0.4764        | 0.4142 |
| 0.976 | 15250 | 0.5066        | -      |
| 0.992 | 15500 | 0.4567        | -      |


### Framework Versions
- Python: 3.10.14
- Sentence Transformers: 3.1.1
- Transformers: 4.45.1
- PyTorch: 2.4.0
- Accelerate: 0.34.2
- Datasets: 3.0.1
- Tokenizers: 0.20.0

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

#### Matryoshka2dLoss
```bibtex
@misc{li20242d,
    title={2D Matryoshka Sentence Embeddings},
    author={Xianming Li and Zongxi Li and Jing Li and Haoran Xie and Qing Li},
    year={2024},
    eprint={2402.14776},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
```

#### MatryoshkaLoss
```bibtex
@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}
```

#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->