BounharAbdelaziz/Morocco-Darija-Static-Sentence-Embedding

Static Embeddings with BERT Multilingual uncased tokenizer finetuned on Moroccan Darija.

This is a sentence-transformers model trained on the anchor_trans and terjman_v2_350K datasets. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: inf tokens
• Output Dimensionality: 1024 dimensions
• Similarity Function: Cosine Similarity
• Training Datasets:
  • anchor_trans
  • terjman_v2_350K
• Language: ar
• License: apache-2.0

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): StaticEmbedding(
    (embedding): EmbeddingBag(151665, 1024, mode='mean')
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("atlasia/Qwen2.5-72B-bs-4096-lr-0.05-ep-5-wp-0.05-gacc-1-gnm-1.0-v0.1")
# Run inference
sentences = [
    'فين تزاد ريك توماس ستوري؟',
    'ريك توماس ستوري (ولد في 28 غشت 1984) هو فنان قتالي أمريكي متقاعد. محترف من 2007-2018، كان آخر من تنافس مع نقابة المحاربين المحترفين، ولكن معروف أكثر بفترة 19 قتال مع UFC. قصة خلفية تولدات في تاكوما، واشنطن، وفي عمر تلاتة، والديه تطلقو. قصة كبرات في سباناواي، واشنطن، مع جدتو وختو الكبيرة، إليزابيث. قصة بدات كتصارع ملي كان عندو تقريبا 12 عام وبدا كيتفرج على قتالات UFC. ستوري حضرات مدرسة بيثيل الثانوية في سباناواي، واشنطن فين كان واقف في المصارعة وكرة القدم على حد سواء. قصة استمرت مسيرة المصارعة ديالو في جامعة جنوب أوريغون، فين كان متسابق في بطولات NAIA الوطنية لعام 2006، وبدا يتعلم الاستسلام من صاحب خلال السنة ديالو ديالو ديال الفورمور. من بعد ما تخرج بشهادة في التعليم الصحي، ستوري بدات في مهنة في الفنون القتالية المختلطة. بطولة القتال القتالية المختلطة وقعات على صفقة رباعية القتال مع UFC، وخسرات ل John Hathaway من خلال قرار بالإجماع على كارطة UFC 99. ستوري تقاتل ثاني UFC ديالو في UFC 103 بعد ما تدخلات ل Pauly ضد الهزيمة بريان فوستر. ستوري هزات الفوتريس عن طريق التسليح كتخنق التقديم في 1:09 من الجولة الثانية وربحات تقديم الليلة ومحاربة الشرف. ستوري ربح القتال ديالو ضد جيسي لينيكس في FUC Fight 20 ليلة في 11 يناير 2010. المعركة كانت حرب ثلاثية الجولة في 11 يناير 2010، وعطى ستوري القرار بالإجماع. في يناير 2010، استقال بصفقة جديدة ديال أربع مباريات مع UFC. القتال الأول ديالو مع العلامة التجارية الجديدة كان ضد الإنجليزية، نيك أوبسزاك في UFC 112، أول رحلة ديال UFC في أبو دابي. ستوري ربحات القتال عن طريق القرار المثير للجدل. ستوري ستي ستوري ستيستين هازيلت في 7 غشت 2010 في الجولة الأولى، ربحات TUC 117. ستوري ربح لقب TKO عن طريق الجولة الثانية في 4، جون هيندي فيندرز في 4 ديسمبر 2010 وربح في المعركة بالإجماع. بعد أن ربح فينت فينتينغ فيندرز في 12 يناير 2010.',
    'ريتشارد "ريكي" بوتشر شخصية خيالية من مسلسل EastEnders ديال BBC، لي لعبو سيد أوين. تقدم كواحد الولد ديال المدرسة فعام 1988، ريكي هو واحد من أطول بطلين رجال باش يكونو ف EastEnders. أوين فالأصل خرج من الدور فعام 2000 باش يتابع مهنة موسيقية. ولكن، كرر الدور فعام 2002 قبل ما يتهمو المنتج لويز بيرج فعام 2004. فعام 2008، المنتج ديدريك سانتر قدم الشخصية للمرة الثالثة، مع زوجته بيانكا جاكسون (باتسي بالمر). ريكي كيتم تصويرو كبطل غير ذكي، بسيط، سهل القيادة والتحكم فيه من طرف الشخصيات المهيمنة. ف26 فبراير 2011، تم الإعلان على أن أوين غادي ياخد راحة مؤقتة من البرنامج. الشخصية خرجات ف19 يوليوز 2011، وعادات بعد خمسة شهور ف13 كانون الأول/ديسمبر 2011. ريكي خرج من EastEnders ف17 يناير 2012. ريكي رجع ل EastEnders ف20 يونيو 2012 لعرس ختو، جانين بوتشر (شارلي بروكس)، قبل ما يخرج للمدة الأخيرة ف29 يونيو 2012. فأبريل 2016 عبر على اهتمامو بالعودة ل EastEnders خلال ظهورو على Celibreity Jos. ستوريلينز 1988-2000 ريكي مراهق وصل ل Alber Sque منين باباه فرانك بوتشير (مايك ريد) ولا مول دار الملكة فيكتوريا العامة فماي 1988. غير أكاديمي، ريكي ثبت أنه مراهقة مزعجة وغالبا كيتم تصورو من طرف باباه. بدا كيواعد شيرين كريم (نيشا كابور)، مسلم آسيوي، بزاف لوالد شيرينينرز (توني وريدن) مقرف. شيرل كان كيجبر ريكي على الانتقام من خلال الترويع، ودفع ريكي للرعب مع عصابة ديال العنصرية. من بعد، ريكي كيبين الموهات اللي كيدير الطوموبيلات، إذن الخوت ميتشل، فيل ماكفادن (ستوي ماكفادن)، وغرانت (رودن)، خداه للمتجر الآلي ديالهم كمتدربة فعام 1990. ريكي بداات كتواعد خوتها ديال ميتشيل (دلا ويستبروك) وملي قررات يتزوج ف16 فبراير 1991.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Datasets

anchor_trans

• Dataset: anchor_trans at 2f7cba9
• Size: 12,863 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 11 characters mean: 49.66 characters max: 147 characters	min: 89 characters mean: 1386.28 characters max: 2242 characters	min: 11 characters mean: 1367.86 characters max: 2397 characters

• Samples:

  anchor	positive	negative
  شكون اللي لعب صوت السيدة بريسبي فسر NIMH؟	سر NIMH Goldman وصف عملية التصوير بأنها "مثيرة، ممتعة، وأحيانا غريبة". قال بلي التركيز على خصائص كل شخصية، والأصوات، والقدرات التمثيلية كانو مهمين، وقال بلي استخدام الأصوات اللي زادت لملمس الفيلم كان جزء من الفلسفة ديال الفريق فتطوير فيلم. غولدمان لقا أغرب قرار توجيه هو دوم ديلويز لجيرمي الغراب، اللي كان غولدمان، وبلوث، وبوميروي خداوه بعين الاعتبار من بعد ما شافو فيلم 1978 "The End". إليزابيث هارتمان تم تصويرها كالسيدة بريسبي، وغولدمان كان كيسميها الأداء ديالها ف "Patch of Blue" "بزاف وصادق بزاف حيت كلنا شعرنا بلي هي مناسبة للدور." بوميروي اقترح على ديريك جاكوبي، اللي كان كيلعب دور بطولة في المينيسترات "I Cloudius"، باش يلعب دور نيكوديس. بيتر ستراوس، اللي كان الفريق شاف قبل في مينيرات أخرى من 1976، "Rich Man, Pooper Man"، كان كيلعب دور جوستينر. بول شنار تعين باش يلعب دور "dark، صوت قوي". الممثل شكسبيران جون كارادين كان "مؤثر على البول الكبير المظلم، المخيف"، بينما الريدو تعين لسوليفان، اللي قال غولدمان "كان عندو صوت مميز بزاف".	نيل موريسي نيل أنطوني موريسي (ولد فـ4 يوليوز 1962) هو ممثل إنجليزي، ممثل صوتي، كوميدي، مغني، ورجل أعمال. معروف بدوره كطوني فـ "رجال كيتصرفو بزاف". أدوار تمثيلية أخرى مهمة كتشمل إيدي لوسون فـ "واترلو رود"؛ نايجل مورتون فـ "جنب الواجب"، وروكي فـ "بون". موريسي كيعطي صوت بزاف ديال الشخصيات الكرتونية، بما فيهم بوب، روولي، لوفتي، السيد فاثيرغيل والفلاحة بيكلز فـ النسخة ديال المملكة المتحدة فـ "بوب البناي".
  شنو هو الرأي اللي كيقدم فالنص بخصوص فكرة الموت؟	قبل إدخال الموت الدماغي للقانون فمنتصف السبعينات حتى أواخر السبعينات، جميع عمليات زرع الأعضاء من المتبرعين الكادافيريين جاو من المتبرعين اللي ما كيضربوش القلب (NHBDs). المتبرعين بعد الموت الدماغي (DBD) (القلب كيضرب الجثث)، ولكن، أدى لنتائج أفضل حيت الأعضاء كانو مغطيين بالدم الأكسجيني حتى لنقطة التشتت والتبريد فاسترجاع الأعضاء، وبالتالي لم يعدو كيتستعملو NHBDs بشكل عام غير فاليابان، فين الموت الدماغي ما كانش قانوني، حتى وقت قريب بزاف، ولا معترف بيه ثقافيا. ولكن، الفرق المتزايد بين الطلب على الأعضاء وتوفرها من DBDs أدى لإعادة دراسة استخدام التبرعات اللي ما كتضرب القلب، DCD (التبرع بعد الموت الدائري، أو التبرع بعد الموت الكاردياك)، وبزاف ديال المراكز دابا كيستعملو هاد التبرعات لتوسيع مجموعة الأعضاء المحتملة ديالهم. التبرع بالأنسجة (الكورنيا، صمامات القلب، الجلد، العظام) كان دائما ممكن بالنسبة لل NHBDs، وبزاف ديال المراكز دابا أسسو برامج لزرع الكلى من هاد المتبرعين. بعض المراكز تنقلو حتى للكبد وزرع الرئة ديال DCD. بزاف ديال الدروس تعلمو من السبعينات، والنتائج من عمليات زرع DCD الحالية مشاب...	فدين تينريكيو، هي دراسة البشرية وعلاقتها بالله فسياق اللاهوت ديال تينريكيو. هادشي ما خاصوش يتخلط مع العلم الاجتماعي ديال الأنثروبولوجيا. شي حاجة عارات، حاجة استعارت التعليم الأساسي المتعلق بالعلاقة بين البشر والله هي "شي حاجة معارة، حاجة مستعارة" ( )، وهادشي هو الاعتقاد بأن جسم الإنسان هو "شي حاجة معارة" من الله و"شي حاجة مستعارة" من طرف الإنسان. غير العقل مملوك للفرد؛ إذن، فهم تينريكيو للطبيعة البشرية هو ذهني أساسا. المفهوم مرتبط بشكل وثيق بالتعاليم الأخرى المتعلقة بالإنثروبولوجيا بحال غبار العقل، ولادة جديدة، وسببية. العقل راقد فمكان ما داخل جسم الإنسان والعقل كيشوف العالم من خلالها. تعاليم تينريكيو ما كتعرفش بالضبط شنو هو العقل (مثلا الوعي، الذات، الدماغ)، ولا كتشرح كيفاش، بالضبط، العقل هو ديالو. ولكن، كيوصفو خصائص وميزات العقل - مثلا، العقل يمكن حلو، تبديلو، روحو، أو كئيب. تعاليم تينريكيو كتحافظ على أن الطبيعة الأصلية والأساسية ديال العقل البشري واضحة ونظيفة. ما كانش سقوط ديال الراجل اللي خرب طبيعته. ولكن، بسبب الحرية المعطية للعقل البشري، العقل كينسى بانتظام طبيعته الأصلية ويتصرف ...
  متي تأسسات "أغواس دو سان بيدرو"؟	أغواس دو ساو بيدرو اعترافا بأهمية الربيع الحراري في المنطقة، حكومة ولاية ساو باولو في 19 يونيو 1940 أسسات (Hydromineral و Climatic Sapa ديال أغواس دو ساو بيدرو). رغم هاد الشي، المدينة كتحتفل بعيد ميلادها في 25 يوليوز، تاريخ تأسيس أول بناية كبيرة في المدينة، "فندق غراندي" (الآن "فندق غراند ساو بيدرو"). بلدية أغواس دو ساو بيدرو تأسست بموجب قانون الولاية رقم 233، المؤرخ 24 كانون الأول/ديسمبر 1948.	سبا حراري ديال بيسو تم شراؤها فـ8 يونيو 1884 من أنطونيو جوليو إستيفز وزوجته من طرف أنطونيو أوغوستو دو سوسا إي كاسترو، وتم تسجيلها فورا فالسلطة البلدية فـ14 غشت باش تستغل المياه الطبية ديال بيسو (من طرف فيليكس توماس دي باروس أراوخو، بنتو ماريا باربوسا، أنطونيو أوغستو دي سوسا إي كاسترو وفيكتورينو أوغوستو دوس سانتوس ليما). فالطلب ديالهم، أشارو لـ "المياه الطبية القلوية الغازية" بحال الحمامات العامة فالمنطقة اللي كيتسمى كالداس، فـ أبرشية برادو. بعد سلسلة من المراجعات، فـ13 أكتوبر، تم تشكيل مجتمع لاستكشاف المياه الحرارية، لي تشكل من طرف بينتو ماريا باربوسا، فيليكس توماس دو باراروس دي أراوخو، أنتونيو أوغوسا أوغوسا إي كاسترو، فيكتورينو دوس سانتوس ليما، أبيليو أوغستو دي سوسا، خوسيه فرانسيسكو دي ألميدا فاراغوسو، أوريليا سافيدرا إي سيلفا، الدكتورة أنطونيو جواكيم دوراس، مانويل بينتو دا روشا جونيور والدكتور أنطونيو بيريرا دي سوسا.

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          512,
          256,
          128,
          64,
          32
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

terjman_v2_350K

• Dataset: terjman_v2_350K at fece3e7
• Size: 354,112 training samples
• Columns: english and non_english
• Approximate statistics based on the first 1000 samples:

  	english	non_english
  type	string	string
  details	min: 3 characters mean: 537.31 characters max: 6981 characters	min: 3 characters mean: 435.68 characters max: 5568 characters

• Samples:

  english	non_english
  I want to create a website to let users share their gpt's questions and answers. what's a good domain name for it?	بغيت نصاوب واحد الموقع باش نخلي الناس يشاركو الأسئلة والأجوبة ديال gpt. شنو هو سميت دومين مزيانة ليه؟
  Toni Morrison is one of the most celebrated and influential American writers of all time. She is best known for her novels, which explore the African-American experience with depth and sensitivity [1]. Here are some of Toni Morrison's most popular and acclaimed works: 1. The Bluest Eye (1970): Morrison's debut novel is a coming-of-age story about a young Black girl named Pecola growing up in Lorain in the years following the Great Depression [1][2]. The novel explores racial conflict, sexual abuse, the meaning of beauty, and distorted notions of self-worth [1]. 2. Sula (1973): This novel tells the story of two lifelong friends, Sula and Nel, and their very different choices in life. It explores the themes of friendship, love, and betrayal. It is also a meditation on the role of black women in American society [1][2]. 3. Song of Solomon (1977): This novel tells the story of Macon “Milkman Dead” III, a young black man who sets out to discover his family history and his own identity. On...	توني موريسون وحدة من اشهر و أهم الكتاب الأمريكيين فالتاريخ. معروفة بزاف بالروايات ديالها، لي كيناقشو تجربة الأمريكيين من أصل إفريقي بعمق وحساسية. ها شي من أشهر الأعمال ديال توني موريسون: 1. العين الزرقة (1970): أول رواية ديالها كتحكي على طفلة سوداء سميتها بيكولا كتكبر فلوران فالسنين لي جات من بعد الكساد الكبير. الرواية كتناقش الصراع العنصري، الإعتداء الجنسي، معنى الجمال، والنظرة المشوهة للذات. 2. سولا (1973): هاد الرواية كتحكي قصة صحابات من الصغر، سولا ونيل، والإختيارات المختلفة ديالهم فالحياة. كتناقش مواضيع الصداقة، الحب، والخيانة. وكتناقش كذلك دور المرأة السوداء فالمجتمع الأمريكي. 3. أغنية سليمان (1977): هاد الرواية كتحكي قصة ماكون "ميلكمان ديد" التالت، شاب أسود كيخرج باش يكتشف تاريخ عائلتو وهويتو. وحدة من أشهر الأعمال ديال موريسون، أغنية سليمان مزيج بين الواقعية والخرافة والخيال. 4. محبوبة (1987): هاد الرواية كتدور فأوهايو من بعد الحرب الأهلية وكتحكي قصة سيث، عبدة سابقة كيطاردها شبح بنتها الميتة، محبوبة. محبوبة هي أشهر رواية ديال توني موريسون ومستوحاة من قصة حقيقية ديال وحدة الم...
  What is the significance of Jewish cemeteries?	شنو هي الأهمية ديال المقابر اليهودية؟

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          512,
          256,
          128,
          64,
          32
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Datasets

anchor_trans

• Dataset: anchor_trans at 2f7cba9
• Size: 12,863 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 16 characters mean: 47.71 characters max: 107 characters	min: 212 characters mean: 1415.89 characters max: 2126 characters	min: 159 characters mean: 1411.18 characters max: 2127 characters

• Samples:

  anchor	positive	negative
  فوقاش لعب روبرت جوزيف كوسي لبوسطن سلتيك؟	روبرت جوزيف كوسي (ولد فـ9 غشت 1928) هو لاعب كرة السلة أمريكي محترف سابق. كوسي لعب دور الحارس الرئيسي مع لاعبين بوسطن السلتيك من 1950 حتى 1963، وبختام مع سينسيناتي رويالز فـ موسم 1969-70. خلا الفريق ديالو فالجامعة الثانوية مبتدئ، مشى باش يحصل على منحة دراسية لكلية الصليب المقدس، فين قاد الصليبيين باش يفرجو عليهم فـ1948 جولة NCAAA و1950 جولة NCAA، وربح تكريمات NCAA All-American لتلاتة مواسم. كوسي كان فـ البداية من طرف Tri-Cities Blackhooks كـ ثالث اختيار عام فـ الجولة الأولى من مسودة NBA، ولكن من بعد ما رفض التقرير، تم اختيارو من طرف بوسطن. كان عندو مهنة ناجحة بزاف مع Celtics، وقاد الدوري 8 سنين متتالية غير مسبوقة فـ المساعدة، لعب على ستة فرق بطولة NBA، وتم التصويت عليه فـ13 ألعاب NBA All-Star فـ13 موسم NBA كامل ديالو. تاني سمي بـ12 فريق All-NBA الأول والثاني وربح جائزة NBA Fonth Falable Plaer ديال 1957. الطريق للسلسلة المساعدة ديالو اللي ماتشش بعدد ديال التاجات ولا السنين المتتالية، كوزي قدم مزيج جديد من مهارات التعامل مع الكرة ونقلها ل NBA اللي ربحاتو اللقب "The Hodini of the Hardwood"...	مايكل أنطوني جيروم "سبود" ويب (ولد فـ13 يوليوز 1963) هو لاعب كرة السلة أمريكي محترف سابق. ويب، اللي لعب فـ National Basketball Association (NBA)، معروف بأنه ربح مسابقة Slam Dunk رغم أنه واحد من أقصر اللاعبين فـ تاريخ NBA، مدرج فالطول. حاليا هو رئيس عمليات كرة السلة لـ Texas Legends، فريق NBA G Lague لـ Dalas Maverix فـ Frisco، تكساس. السنوات الأولى ولد ويب فـ الفقر فـ Dalasas، تكساس. تربى فـ دار صغيرة فيها جوج غرف نوم وشاف كرة السلة كإلهام. ويب ما كانش طويل، ولكن استخدم القدرة ديالو على السرعة والقفز باش يلعب دور الدراري الكبار. بدا فالصف السابع، تقال لـ Wibbb بلي كان قصير بزاف باش يلعب كرة السلة. حصل على فرصة باش يلعب فـ الفريق الثانوي الجديد ديالو غير بعدما جوج لاعبين ما كملوش متطلبات الامتحان البدني فالوقت المحدد للعبة الأولى. ويب سجل 22 نقطة فالملعبة الأولى ديالو. كان يقدر يغرق الكرة ملي كان طويل. فـ Wilmer-Hutchins Huchins Shighychan Schooly، لعب فـ الفريق ديال Farsity وتاخد تأثير كبير؛ ملي دار الفريق ديال Farsity، كان عندو 26 نقطة فاللعبة كواحد السجل الدراسي العالي المثير للإعجاب...
  شنو كانت الخاصية الرئيسية ديال تطبيق Mobile ESPN؟	ESPN كانت شركة ديال الشبكات الافتراضية ديال الموبايل (MVNO) كتشغلها شركة Walt Disney باستخدام الشبكة اللاسلكية ديال EVDO ديال Sprint من 25 نوفمبر 2005 حتى دجنبر 2006. الخدمة كانت كتعتبر غالية بزاف وفشل. الخاصية الرئيسية ديال ESPN ديال التطبيق كانت تطبيق رياضي لي يقدر يوصل للأخبار والملامح والدرجات. التطبيق ديال Java كان قادر يعطي نتائج فالوقت الحقيقي، بحيث أن التيليفون كان غالبا خمس ثواني ولا أكثر قبل البث التلفزيوني ف تحديث النتائج. التطبيق تزاد حتى مع خدمة SMS، باش المستخدم قدر يستقبل تنبيه فين كيسجل فريق مفضل ولا شي حدث آخر مهم. المحتوى تدار من طرف فريق تحريري لي خلق محتوى أصلي ومحتوى جديد من موقع ESPN.com على الويب باش يناسب فورما التيليفون. أغلبية المحتوى على ESPN.com كان متوفر حتى على Mobile ESPN. ذكرات على الهواء ديال ESPN عبر الموبايل خلال البرمجة بحال SportCenter، خاصة شرائح التيليفون (التي كانت فيها رسومات ديال ESPN Mobile ed بدلا من النسخات العامة الشائعة ديال التيليفونات اللي كيستعملوها معظم المنظمات الإخبارية)، اقترحو بلي الموظفين ديال الشبكة كانو ملزمين تعاقديا باش يستعمل...	شبكة تلفزيون كابل ESPN كانت كتبث من وقت لآخر أحداث ملاكمة على أغلبية تاريخها، كجزء من عدة ترتيبات، بما فيهم عقود مع بروفايات واتحادات محددة بحال Golden Buy Provements و Perminer Boxing Champions و Top Rank، وكذلك Jourday Night Wight Wights - سلسلة شبه منتظمة تبثها ESPN2 من 1998 حتى 2015. Top Rank Boxing من 1980 حتى 1996، ESPN كتبث شجارات من Ruber Top Rank من خلال سلسلة أسبوعية كتسمى Top Rank Boxing؛ كانت جزء أساسي مبكر من برمجة ESPN في الثمانينات. Top Rank و ESPN خرجو من الشراكة؛ Top Rank بدل التركيز ديالو على استهداف الجماهير الإسبانية في الولايات المتحدة، بينما ESPN نجح فالبث بسلسلة جديدة، Friday Night Wight Wights، اللي غادي تكون فيها bouts من رواد آخرين. في 2009، ESPN و Top Rank بداو يناقشو صفقة متجددة؛ المؤسس المشارك بوب آروم عبر على عدم الرضا فالباكاج السابق ديال الترقية ل Versusus، اللي كان فيه عدد كبير من النوبات منخفضة الجودة. آروم شرح بلي غادي يكون أكثر احتمالا يتعامل مع ESPN للمعارك الفردية بدل عقد طويل المدى، وشرح بلي "ما غادي نجي ليهم يقولو، 'ويل شريتي هاد المعركة ولا هاد ...
  شنو كان العدد الإجمالي ديال مسدسات مارك آي برين لي كينتجها Enfield؟	مدفع برين كان سلسلة ديال الرشاشات الخفيفة (LMG) اللي صنعاتها بريطانيا في الثلاثينات وستعملات في أدوار مختلفة حتى 1992. رغم أنه معروف بزاف بدورو كمشاة أساسية LMG ديال القوات البريطانية والكومنولث في الحرب العالمية الثانية، كان كيتستعمل حتى في الحرب الكورية وشاف الخدمة خلال النصف الثاني من القرن العشرين، بما فيهم حرب فولكلاند في 1982. رغم أنه كان مجهز بـ Bipod، يمكن تاني يتركب على tripod ولا يتركب على طوموبيلات. سلاح برين كان نسخة مرخصة من مدفع رشاش التشيكوسلوفاك ZGB 33 خفيف، لي بدوره كان نسخة معدلة من ZB vz 26، اللي جربو مسؤولي الجيش البريطاني خلال مسابقة لخدمة الأسلحة النارية في الثلاثينات. سلاح برين في وقت لاحق كان فيه مجلة صندوق منحني مميزة، مخبية فلاش ملونة، وبرميل تغيير سريع. سميت برين مشت من برنو، المدينة التشيكوسلوفاكية في مورافيا، فين تصميم Zb vz 26 (في مصنع زبروجوفيكا) وإنفيلد، موقع مصنع الأسلحة الصغيرة الملكي البريطاني. المصمم كان فاكلاف هوليك، مخترع ومهندس تصميم السلاح. في الخمسينيات، تم تجديد بزاف ديال البنادق في برين باش يقبلو الطوموريد ديال 7.62×51 ملم الناتو وعدلو باش يتغ...	سيج باتري 46 كانت وحدة Howitzer ثقيلة ديال المدفعية الملكية البريطانية (RGA) فالحرب العالمية الأولى، مكونة فتينموث بنواة ديال المدفعين الساحليين ديال القوات الإقليمية من كورنوال. خدمت فالسوم والأنكري، فأريس وهال 70، قبل ما تمشي لإيفريس خلال المعارك ديال أوتومن 1917. من بعد حاربت ضد الهجوم ديال الربيع الألماني وشاركت فالهجوم الأخير ديال أيام الحلفاء الهوندريند. تم امتصاص البطارية فالجيش النظامي بعد الحرب. التعبئة والتدريب على اندلاع الحرب ف غشت 1914، تم دعوة وحدات من القوات الإقليمية غير الدائمة (TF) للتطوع للخدمة الخارجية وأغلبية القوات المسلحة الملكية (Duk of Cornwalls) غاريسون آرتيلي (CRGA) لهاد الشي. هادي كانت وحدة ديال الموانئ الملغمة مع الشركات اللي متمركزين فالموانئ الصغيرة على ساحل كورنوال. فأكتوبر 1914، الحملة على الجبهة الغربية كانت كتغرق فحرب الترينش وكانت هناك حاجة ملحة لإرسال بطاريات المدفعية للحصارة لتعزيز القوة الاستكشافية البريطانية (BEF). مكتب الحرب قرر أن المدفعيين الساحليين ديال TF مدربين بما فيه الكفاية باش ياخدو بزاف ديال الواجبات فالدفاعات الساحلية، يطلقو سلاحات RG...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          512,
          256,
          128,
          64,
          32
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

terjman_v2_350K

• Dataset: terjman_v2_350K at fece3e7
• Size: 354,112 evaluation samples
• Columns: english and non_english
• Approximate statistics based on the first 1000 samples:

  	english	non_english
  type	string	string
  details	min: 8 characters mean: 542.83 characters max: 4207 characters	min: 6 characters mean: 438.84 characters max: 3368 characters

• Samples:

  english	non_english
  Let's do it gradually: A person use an expressway in american city to get around quickly.... So the answer is american city.	خلينا نديروها بالتدريج: الواحد كيستعمل الطريق السريع فالمدينة الأمريكية باش يتنقل بسرعة.... إذن الجواب هو مدينة أمريكية.
  you are to to develop vaccination strategies to specifically boost antiviral CD8+ T cell responses in people previously infected with SARS-CoV-2. What would you try? what has been tried before and could be improved?	انت خاصك تطور استراتيجيات ديال التلقيح باش تزيد من ردود فعل الخلايا التائية CD8+ المضادة للفيروسات عند الناس اللي سبق ليهم تصابو ب SARS-CoV-2. شنو غادي تجرب؟ شنو هوما الحوايج اللي تجربو من قبل و ممكن يتحسنو؟
  ## Mark Down
  Title: The Benefits of Meditation
  Introduction: Meditation has been practiced for thousands of years and has gained popularity in recent years as a tool for reducing stress and improving overall well-being. There are many benefits to meditation, including physical, mental, and emotional benefits.
  Body:
  - Physical benefits: Meditation has been shown to reduce blood pressure, lower the risk of heart disease, and improve sleep quality.
  - Mental benefits: Regular meditation can help reduce symptoms of anxiety and depression, improve focus and attention, and increase feelings of happiness and well-being.
  - Emotional benefits: Meditation can help individuals develop a greater sense of self-awareness, cultivate empathy and compassion, and improve relationships with others.
  Conclusion: Incorporating regular meditation into your daily routine can have numerous benefits for your physical, mental, and emotional health. Whether you are new to ...	## Mark Down
  العنوان: فوايد الميديتاسيون
  المقدمة: الميديتاسيون كانت كتمارس هادي آلاف السنين و ولات مشهورة فهاد السنين الأخيرة كوسيلة باش نقصو من الستريس و نحسنو الصحة بشكل عام. كاينين بزاف د الفوايد للميديتاسيون، بما فيهم الفوايد الجسدية و العقلية و العاطفية.
  الموضوع:
  - الفوايد الجسدية: الميديتاسيون بينات بلي كتنقص الضغط د الدم، كتقلل من خطر أمراض القلب، و كتحسن جودة النعاس.
  - الفوايد العقلية: الميديتاسيون المنتظمة كتقدر تساعد فتنقيص أعراض القلق و الاكتئاب، كتحسن التركيز و الانتباه، و كتزيد من الشعور بالسعادة و الراحة.
  - الفوايد العاطفية: الميديتاسيون كتقدر تساعد الناس باش يطورو وعي أكبر بالذات، يزرعو التعاطف و الشفقة، و يحسنو العلاقات مع الآخرين.
  الخاتمة: إدخال الميديتاسيون المنتظمة فالروتين اليومي ديالك يمكن يكون عندو بزاف د الفوايد على الصحة الجسدية و العقلية و العاطفية ديالك. سواء كنتي جديد فالميديتاسيون ولا كنتي كتمارسها هادي سنين، تاخد الوقت كل نهار باش تهدي عقلك و تركز على التنفس ديالك يقدر يساعدك تحسن الصحة ديالك بشكل عام.
  **سؤال مطر...

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          1024,
          512,
          256,
          128,
          64,
          32
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 4096
• per_device_eval_batch_size: 4096
• learning_rate: 0.05
• num_train_epochs: 5
• warmup_ratio: 0.05
• bf16: True
• fp16_full_eval: True
• load_best_model_at_end: True
• gradient_checkpointing: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 4096
• per_device_eval_batch_size: 4096
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 0.05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.05
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: True
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	anchor trans loss	terjman v2 350K loss
0.0110	1	47.4919	-	-
0.0549	5	45.9269	-	-
0.1099	10	42.6594	26.3706	25.4710
0.1648	15	35.3423	-	-
0.2198	20	29.2847	25.6569	14.4443
0.2747	25	23.8142	-	-
0.3297	30	18.4308	25.8970	6.9458
0.3846	35	14.0929	-	-
0.4396	40	11.3239	27.4089	3.7387
0.4945	45	17.2031	-	-
0.5495	50	8.1788	24.8611	2.4764
0.6044	55	7.0392	-	-
0.6593	60	6.2257	25.0826	1.8010
0.7143	65	5.5778	-	-
0.7692	70	5.108	25.3847	1.3918
0.8242	75	4.6154	-	-
0.8791	80	12.6796	25.0431	1.1242
0.9341	85	9.9497	-	-
0.9890	90	4.0262	23.3943	0.9849
1.0440	95	3.222	-	-
1.0989	100	10.7925	23.1479	0.8686
1.1538	105	2.7224	-	-
1.2088	110	2.4911	22.5823	0.7934
1.2637	115	2.3338	-	-
1.3187	120	2.1634	22.5466	0.7220
1.3736	125	1.9689	-	-
1.4286	130	1.9101	22.5995	0.6579
1.4835	135	9.2479	-	-
1.5385	140	1.8156	22.2036	0.6165
1.5934	145	1.6703	-	-
1.6484	150	1.6681	22.5507	0.5735
1.7033	155	1.6254	-	-
1.7582	160	1.5864	22.7253	0.5464
1.8132	165	1.5979	-	-
1.8681	170	1.4998	22.8197	0.5224
1.9231	175	11.1501	-	-
1.9780	180	1.5052	21.8134	0.5296
2.0330	185	1.2697	-	-
2.0879	190	8.2564	21.8192	0.5144
2.1429	195	1.2811	-	-
2.1978	200	1.1843	20.8615	0.4963
2.2527	205	1.1701	-	-
2.3077	210	1.1101	21.0189	0.4794
2.3626	215	1.0353	-	-
2.4176	220	1.0621	21.1205	0.4624
2.4725	225	7.3373	-	-
2.5275	230	1.0094	20.4279	0.4502
2.5824	235	0.9459	-	-
2.6374	240	0.9531	20.3085	0.4403
2.6923	245	0.9584	-	-
2.7473	250	0.9534	20.3399	0.4301
2.8022	255	0.9765	-	-
2.8571	260	0.9273	20.4115	0.4196
2.9121	265	8.0012	-	-
2.9670	270	0.9399	20.7529	0.4290
3.0220	275	0.788	-	-
3.0769	280	0.9027	20.7447	0.4192
3.1319	285	6.6841	-	-
3.1868	290	0.8134	19.9751	0.4155
3.2418	295	0.7919	-	-
3.2967	300	0.7838	19.8984	0.4126
3.3516	305	0.737	-	-
3.4066	310	0.7644	19.8931	0.4055
3.4615	315	6.2394	-	-
3.5165	320	0.7333	19.8220	0.4012
3.5714	325	0.7075	-	-
3.6264	330	0.7127	19.7856	0.3972
3.6813	335	0.7168	-	-
3.7363	340	0.7173	19.7723	0.3924
3.7912	345	0.7423	-	-
3.8462	350	0.7335	19.7938	0.3860
3.9011	355	6.1147	-	-
3.9560	360	1.2468	19.9504	0.3880
4.0110	365	0.6236	-	-
4.0659	370	0.7114	19.9867	0.3868
4.1209	375	5.871	-	-
4.1758	380	0.6601	19.7135	0.3870
4.2308	385	0.6585	-	-
4.2857	390	0.6375	19.6008	0.3867
4.3407	395	0.6333	-	-
4.3956	400	0.6264	19.5793	0.3845
4.4505	405	5.6162	-	-
4.5055	410	0.6362	19.5630	0.3830
4.5604	415	0.6061	-	-
4.6154	420	0.6124	19.5488	0.3819
4.6703	425	0.6142	-	-
4.7253	430	0.6319	19.5410	0.3812
4.7802	435	0.6512	-	-
4.8352	440	0.6443	19.5400	0.3803
4.8901	445	5.647	-	-
4.9451	450	1.0293	19.5525	0.3800
5.0	455	0.5503	-	-

Framework Versions

• Python: 3.12.3
• Sentence Transformers: 3.3.1
• Transformers: 4.47.1
• PyTorch: 2.5.1+cu124
• Accelerate: 1.1.1
• Datasets: 3.1.0
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}