metadata

base_model: BAAI/bge-base-en-v1.5
language:
  - en
library_name: sentence-transformers
license: apache-2.0
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@3
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_precision@1
  - cosine_precision@3
  - cosine_precision@5
  - cosine_precision@10
  - cosine_recall@1
  - cosine_recall@3
  - cosine_recall@5
  - cosine_recall@10
  - cosine_ndcg@10
  - cosine_mrr@10
  - cosine_map@100
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:806
  - loss:MatryoshkaLoss
  - loss:MultipleNegativesRankingLoss
widget:
  - source_sentence: >-
      La posologie habituelle est de 1 à 2 g de plante séchée par tasse d’eau
      bouillante, en infusion, plusieurs fois par jour, ou l’équivalent en herbe
      fraîche. Pour la prise en extrait liquide (sirop), la posologie est
      calculée en fonction de la concentration en principes actifs. Une tisane
      de thym ou une goutte d’huile essentielle diluée dans un bol d’eau chaude
      peuvent également être utilisées en inhalation pour dégager les voies
      respiratoires. Des infusions plus concentrées (5 g de plante sèche pour
      100 ml d’eau) sont employées en gargarisme ou en bain de bouche. Les
      mélanges feuilles de thym / racine de primevère sont à utiliser selon les
      recommandations de la notice du produit.
    sentences:
      - >-
        La plante Bourdaine est-elle sans danger pendant la grossesse et
        l'allaitement?
      - Quelles sont les formes et le dosage recommandés pour la plante Thym?
      - Quel est l'avis d'un expert sur la plante Valériane?
  - source_sentence: >-
      L’allergie reconnue au fenouil ou à l’anéthol, ou à toute plante
      apparentée comme le céleri, le cumin, la coriandre, l’anis vert ou
      l’aneth, en contre-indique l’utilisation. Les personnes allergiques aux
      plantes de la famille des astéracées (anciennement famille des composées)
      comme l’armoise, l’ambroisie ou la camomille, doivent également utiliser
      le fenouil avec prudence. De plus, les femmes qui souffrent ou ont
      souffert de cancer hormonodépendant (cancer du sein, des ovaires ou de
      l'utérus) doivent s'abstenir de prendre un traitement à base de fenouil,
      du fait des propriétés estrogéniques de cette plante.
    sentences:
      - Quelle est la description de la plante Saule blanc?
      - Quelles sont les contre-indications pour la plante Petite centaurée?
      - Quelles sont les contre-indications pour la plante Fenouil?
  - source_sentence: >-
      En tisane, la dose recommandée est de 3 g de graines écrasées en infusion,
      dans 150 ml d’eau frémissante, trois fois par jour. Pour soulager des
      troubles digestifs, il est possible de mâcher une petite cuillerée de
      graines à la fin du repas. L’huile essentielle d’anis vert peut être
      utilisée en inhalation lors de rhume ou de bronchite. Il suffit de diluer
      quelques gouttes d’huile essentielle dans un bol d’eau bouillante et
      d’inhaler les vapeurs. Dans tous les cas, si les symptômes persistent
      au-delà de 48 heures, une consultation médicale est nécessaire.
    sentences:
      - >-
        Quelles sont les formes et le dosage recommandés pour la plante Anis
        vert?
      - Quelle est la description de la plante Fenouil?
      - Comment utiliser la plante Valériane?
  - source_sentence: >-
      Les produits à base de lierre grimpant pourraient interagir avec les
      médicaments de la toux (antitussifs).
    sentences:
      - >-
        Quelles sont les interactions possibles de la plante Lierre grimpant
        avec d’autres substances?
      - Quelles sont les contre-indications pour la plante Ginseng?
      - Que pensent les autorités de santé de la plante Bouillon-blanc?
  - source_sentence: >-
      Les personnes qui prennent des anticoagulants (fluidifiants du sang)
      devraient s’abstenir de consommer de grandes quantités de canneberge. De
      plus, il est préférable de ne pas prendre de fortes doses de canneberge
      avec d’autres plantes anticoagulantes (par exemple l’ail, le ginkgo, le
      ginseng, l’éleuthérocoque, le saule blanc, le kava, la fève tonka, etc.),
      ni avec des produits contenant des acides gras oméga-3. La canneberge
      pourrait également interagir avec les médicaments prescrits pour lutter
      contre les brûlures d’estomac (antihistaminiques H2 et inhibiteurs de la
      pompe à protons).
    sentences:
      - Quelle est l'efficacité de la plante Bouillon-blanc?
      - >-
        Quelle est l'origine et quels sont les usages de la plante Petite
        centaurée?
      - >-
        Quelles sont les interactions possibles de la plante Canneberge ou
        cranberry avec d’autres substances?
model-index:
  - name: BGE base Financial Matryoshka
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 768
          type: dim_768
        metrics:
          - type: cosine_accuracy@1
            value: 0.32222222222222224
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.5
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.6333333333333333
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.8111111111111111
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.32222222222222224
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.16666666666666666
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.12666666666666665
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.0811111111111111
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.32222222222222224
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.5
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.6333333333333333
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.8111111111111111
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.5423585397564108
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.4590123456790124
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.4692052653121261
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 512
          type: dim_512
        metrics:
          - type: cosine_accuracy@1
            value: 0.28888888888888886
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.5
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.6333333333333333
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.8333333333333334
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.28888888888888886
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.16666666666666666
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.12666666666666665
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.08333333333333331
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.28888888888888886
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.5
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.6333333333333333
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.8333333333333334
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.5318522788264519
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.4391534391534392
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.448465509528844
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 256
          type: dim_256
        metrics:
          - type: cosine_accuracy@1
            value: 0.3
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.5
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.6222222222222222
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.8333333333333334
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.3
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.16666666666666666
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.12444444444444444
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.08333333333333331
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.3
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.5
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.6222222222222222
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.8333333333333334
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.5412674141664099
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.4508994708994711
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.4591974099649539
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 128
          type: dim_128
        metrics:
          - type: cosine_accuracy@1
            value: 0.2777777777777778
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.4888888888888889
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.6111111111111112
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.8111111111111111
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.2777777777777778
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.16296296296296295
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.1222222222222222
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.0811111111111111
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.2777777777777778
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.4888888888888889
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.6111111111111112
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.8111111111111111
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.5157896241121187
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.4248500881834215
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.4341048300656952
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 64
          type: dim_64
        metrics:
          - type: cosine_accuracy@1
            value: 0.2
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.37777777777777777
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.5444444444444444
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.7444444444444445
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.2
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.1259259259259259
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.10888888888888888
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.07444444444444444
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.2
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.37777777777777777
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.5444444444444444
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.7444444444444445
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.4349093331984765
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.3400573192239858
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.35002712945861025
            name: Cosine Map@100

BGE base Financial Matryoshka

This is a sentence-transformers model finetuned from BAAI/bge-base-en-v1.5 on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: BAAI/bge-base-en-v1.5
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity
Training Dataset:
- json
Language: en
License: apache-2.0

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': True}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tmmazen/bge-base-st-phyto")
# Run inference
sentences = [
    'Les personnes qui prennent des anticoagulants (fluidifiants du sang) devraient s’abstenir de consommer de grandes quantités de canneberge. De plus, il est préférable de ne pas prendre de fortes doses de canneberge avec d’autres plantes anticoagulantes (par exemple l’ail, le ginkgo, le ginseng, l’éleuthérocoque, le saule blanc, le kava, la fève tonka, etc.), ni avec des produits contenant des acides gras oméga-3. La canneberge pourrait également interagir avec les médicaments prescrits pour lutter contre les brûlures d’estomac (antihistaminiques H2 et inhibiteurs de la pompe à protons).',
    'Quelles sont les interactions possibles de la plante Canneberge ou cranberry avec d’autres substances?',
    "Quelle est l'efficacité de la plante Bouillon-blanc?",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Dataset: dim_768
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.3222
cosine_accuracy@3	0.5
cosine_accuracy@5	0.6333
cosine_accuracy@10	0.8111
cosine_precision@1	0.3222
cosine_precision@3	0.1667
cosine_precision@5	0.1267
cosine_precision@10	0.0811
cosine_recall@1	0.3222
cosine_recall@3	0.5
cosine_recall@5	0.6333
cosine_recall@10	0.8111
cosine_ndcg@10	0.5424
cosine_mrr@10	0.459
cosine_map@100	0.4692

Information Retrieval

Dataset: dim_512
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.2889
cosine_accuracy@3	0.5
cosine_accuracy@5	0.6333
cosine_accuracy@10	0.8333
cosine_precision@1	0.2889
cosine_precision@3	0.1667
cosine_precision@5	0.1267
cosine_precision@10	0.0833
cosine_recall@1	0.2889
cosine_recall@3	0.5
cosine_recall@5	0.6333
cosine_recall@10	0.8333
cosine_ndcg@10	0.5319
cosine_mrr@10	0.4392
cosine_map@100	0.4485

Information Retrieval

Dataset: dim_256
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.3
cosine_accuracy@3	0.5
cosine_accuracy@5	0.6222
cosine_accuracy@10	0.8333
cosine_precision@1	0.3
cosine_precision@3	0.1667
cosine_precision@5	0.1244
cosine_precision@10	0.0833
cosine_recall@1	0.3
cosine_recall@3	0.5
cosine_recall@5	0.6222
cosine_recall@10	0.8333
cosine_ndcg@10	0.5413
cosine_mrr@10	0.4509
cosine_map@100	0.4592

Information Retrieval

Dataset: dim_128
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.2778
cosine_accuracy@3	0.4889
cosine_accuracy@5	0.6111
cosine_accuracy@10	0.8111
cosine_precision@1	0.2778
cosine_precision@3	0.163
cosine_precision@5	0.1222
cosine_precision@10	0.0811
cosine_recall@1	0.2778
cosine_recall@3	0.4889
cosine_recall@5	0.6111
cosine_recall@10	0.8111
cosine_ndcg@10	0.5158
cosine_mrr@10	0.4249
cosine_map@100	0.4341

Information Retrieval

Dataset: dim_64
Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.2
cosine_accuracy@3	0.3778
cosine_accuracy@5	0.5444
cosine_accuracy@10	0.7444
cosine_precision@1	0.2
cosine_precision@3	0.1259
cosine_precision@5	0.1089
cosine_precision@10	0.0744
cosine_recall@1	0.2
cosine_recall@3	0.3778
cosine_recall@5	0.5444
cosine_recall@10	0.7444
cosine_ndcg@10	0.4349
cosine_mrr@10	0.3401
cosine_map@100	0.35

Training Details

Training Dataset

json

Dataset: json
Size: 806 training samples
Columns: positive and anchor
Approximate statistics based on the first 806 samples:
positive anchor
type string string
details
min: 3 tokens
mean: 206.94 tokens
max: 512 tokens

min: 10 tokens
mean: 21.83 tokens
max: 41 tokens

	positive	anchor
type	string	string
details	min: 3 tokens mean: 206.94 tokens max: 512 tokens	min: 10 tokens mean: 21.83 tokens max: 41 tokens

Samples:

positive	anchor
Les études cliniques évaluant les propriétés thérapeutiques de l’ortie sont nombreuses et portent sur un grand nombre de patients. Les propriétés diurétiques des feuilles ont été étudiées au cours d’au moins cinq essais cliniques portant sur plus de 10 000 patients. Malheureusement, dans la plupart des cas, ces études ne faisaient pas appel à un placebo et leurs résultats, plutôt favorables à cet effet diurétique, sont entachés d’incertitude. De la même manière, la demi-douzaine d’essais cliniques évaluant les effets de la racine d’ortie sur l’adénome de la prostate, et portant sur plus de 16 000 hommes, est de si mauvaise qualité méthodologique qu’il est impossible d’être certain des effets observés. Pour résumer, on peut dire que si les études existantes pointent vers une efficacité de la racine d’ortie, elles n’en apportent pas la preuve scientifique. Une petite étude contre placebo suggère une certaine efficacité des feuilles d’ortie pour soulager les symptômes de la rhinite allergique. Enfin, aucune étude ne justifie son usage pour améliorer l’aspect des cheveux et des ongles, ou pour soulager les douleurs articulaires. ... l’EMA Si l’Agence européenne du médicament considère comme « traditionnellement établi » l’usage des feuilles d’ortie comme « traitement diurétique complémentaire des infections urinaires » et comme « traitement complémentaire des douleurs articulaires et de la séborrhée », elle se refuse à qualifier l’usage de la racine d’ortie. L'EMA considère que les études ne sont pas concluantes et que, l'HBP étant une maladie qui doit être traitée médicalement, la racine d'ortie ne peut pas être considérée comme un traitement traditionnel de cette pathologie. ... l’OMS L’Organisation mondiale de la santé reconnaît comme « cliniquement établi » l’usage de la racine d’ortie « dans le traitement des problèmes d’émission d’urine liés à l’HBP légère à modérée, lorsque l’absence de cancer de la prostate est avérée ». Elle considère comme « traditionnel » l’usage de la racine d’ortie comme « diurétique, et pour soulager les douleurs rhumatismales et la sciatique ». ... la Commission E La Commission E du ministère de la Santé allemand reconnaît l’usage des feuilles d’ortie comme « traitement complémentaire des douleurs articulaires et, en tant que diurétique, comme traitement complémentaire des infections et des calculs urinaires ». Elle admet l’usage de la racine d’ortie « dans le traitement symptomatique des troubles de la prostate mineurs ou modérés, en augmentant le flux urinaire et en diminuant la quantité d’urine restant dans la vessie ». ... l’ESCOP La Coopération scientifique européenne en phytothérapie reconnaît l’usage des feuilles d’ortie comme « traitement symptomatique de l’arthrose et des douleurs articulaires », et comme « diurétique dans les infections urinaires, malgré l’absence de preuves d’efficacité après administration par voie orale ». Elle admet l’usage de la racine d’ortie « dans le traitement symptomatique des problèmes d’émission d’urine liés aux troubles de la prostate, mineurs ou modérés ».	`Quelle est l'efficacité de la plante Ortie dioïque?`
`D’après des essais in vitro (dans le tube à essai), l’extrait aqueux de mélisse pourrait inhiber la TSH, une hormone qui stimule la glande thyroïde. Cependant, aucun effet indésirable de type thyroïdien n’a été décrit. Néanmoins, les personnes qui souffrent de maladie de la thyroïde doivent utiliser la mélisse avec prudence.`	`Quelles sont les contre-indications pour la plante Mélisse?`
L’absinthe (Artemisia absinthium) pousse dans les zones tempérées d’Europe, d’Amérique et d’Asie. Au moment de la floraison, on en récolte les feuilles et les sommités fleuries pour les faire sécher. Pendant longtemps, la poudre d’absinthe a été mélangée à l’encre des copistes pour protéger les manuscrits contre les attaques des insectes mangeurs de papier. L’absinthe a également servi à la fabrication d’une boisson alcoolisée très populaire au XIXe siècle, dont l’usage abusif provoquait des hallucinations, de la démence et des convulsions. Depuis 2005, les alcools à base d’absinthe sont de nouveau autorisés à la vente à condition de contenir moins de 35 mg de thuyone par litre. En phytothérapie, l’absinthe est utilisée pour ouvrir l’appétit et aider les digestions difficiles. En application locale, elle est proposée pour aider à la cicatrisation des plaies. Les autres usages traditionnels de l’absinthe L’absinthe a également été utilisée comme sédatif, ainsi que pour faire baisser la fièvre, éliminer les vers intestinaux et lutter contre l’anémie.	`Quelle est l'origine et quels sont les usages de la plante Absinthe?`

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256,
        128,
        64
    ],
    "matryoshka_weights": [
        1,
        1,
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
gradient_accumulation_steps: 16
learning_rate: 1e-05
num_train_epochs: 4
lr_scheduler_type: cosine
warmup_ratio: 0.1
fp16: True
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 16
eval_accumulation_steps: None
learning_rate: 1e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 4
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	dim_128_cosine_map@100	dim_256_cosine_map@100	dim_512_cosine_map@100	dim_64_cosine_map@100	dim_768_cosine_map@100
0.9412	3	-	0.2476	0.2681	0.2813	0.2090	0.3067
1.8824	6	-	0.3945	0.4313	0.4189	0.3002	0.4526
2.8235	9	-	0.4301	0.4536	0.4456	0.3390	0.4674
3.1373	10	6.0243	-	-	-	-	-
3.7647	12	-	0.4341	0.4592	0.4485	0.35	0.4692

The bold row denotes the saved checkpoint.

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.1.0
Transformers: 4.41.2
PyTorch: 2.1.2+cu121
Accelerate: 0.33.0
Datasets: 2.19.1
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}