RamsesDIIP's picture
Add new SentenceTransformer model
c1ea4c9 verified
metadata
base_model: intfloat/multilingual-e5-large
language:
  - multilingual
library_name: sentence-transformers
license: apache-2.0
metrics:
  - cosine_accuracy
  - dot_accuracy
  - manhattan_accuracy
  - euclidean_accuracy
  - max_accuracy
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:1412
  - loss:TripletLoss
widget:
  - source_sentence: >-
      Hormigonado para muro, con hormigón para armar autocompactante con aditivo
      hidrófugo HA - 40 / AC / 20 / XC4 con una cantidad de cemento de 350 kg/m3
      i relación agua cemento =< 0.45, colocado con cubilote
    sentences:
      - >-
        Elemento de hormigón recto para bordillos tipo T2, con doble capa y
        dimensiones estandarizadas de calzada C5 25x15 cm, conforme a la norma
        UNE 127340, clasificado para clima B, resistencia a la abrasión H y
        resistencia a flexión T (R-5 MPa) según UNE-EN 1340, instalado sobre una
        base de hormigón no estructural HNE-15/P/40 de 10 a 20 cm de altura, y
        sellado con mortero para albañilería, en un entorno urbano accesible, en
        aceras de más de 3 y hasta 5 m de ancho o calzada/plataforma única de
        más de 7 y hasta 12 m de ancho, sin interferencias de servicios o
        mobiliario urbano, en proyectos de 1 a 10 m.
      - >-
        Colocación de hormigón autocompactante para muros, utilizando un aditivo
        hidrófugo HA - 40 / AC / 20 / XC4, con una dosificación de 350 kg/m3 de
        cemento y una relación agua-cemento menor o igual a 0.45, aplicado con
        cubilote.
      - >-
        Hormigonado para pavimento, utilizando hormigón convencional con aditivo
        retardante de fraguado, con una cantidad de cemento de 300 kg/m3 y
        relación agua-cemento =< 0.50, aplicado con bomba de presión.
  - source_sentence: >-
      Placa informativa para señales de tráfico de acero galvanizado y pintado,
      de 60x60 cm, acabada con lámina retrorreflectante clase RA3, fijada
      mecánicamente, en entorno urbano sin dificultad de movilidad, en aceras >
      3 y <= 5 m de ancho o calzada/plataforma única > 7 y <= 12 m de ancho, sin
      afectación por servicios o elementos de mobiliario urbano, en actuaciones
      de 1 a 5 u
    sentences:
      - >-
        Base de concreto (CE, EHE) de tipo HM-20/P / 40 / I con consistencia
        plástica, tamaño máximo del agregado de 40 mm, conteniendo >= 200 kg/m3
        de cemento, adecuada para clase de exposición I, vertido mediante
        transporte mecánico interno y acabado manual con vibrado, en un entorno
        urbano con movilidad restringida, en aceras de más de 5 m de ancho o
        calzadas/plataformas únicas de más de 12 m de ancho, afectada por
        servicios o elementos de mobiliario urbano, en proyectos de entre 0.2 y
        2 m3, utilizando un dúmper eléctrico.
      - >-
        Placa de señalización para obras de construcción de aluminio anodizado y
        sin pintar, de 80x80 cm, con acabado mate, fijada con adhesivo, en áreas
        rurales con acceso restringido, en caminos de tierra > 2 y <= 4 m de
        ancho o senderos > 5 y <= 10 m de ancho, con interferencia por
        vegetación o estructuras temporales, en proyectos de 6 a 10 u.
      - >-
        Panel informativo para señales de tráfico fabricado en acero galvanizado
        y pintado, con dimensiones de 60x60 cm, terminado con lámina
        retrorreflectante de clase RA3, instalado de manera mecánica, en un
        entorno urbano accesible, en aceras de más de 3 y hasta 5 metros de
        ancho o en calzadas/plataformas únicas de más de 7 y hasta 12 metros de
        ancho, sin interferencias de servicios o mobiliario urbano, en proyectos
        de 1 a 5 unidades.
  - source_sentence: >-
      Placa de orientación o situación para señales de tráfico, de acero
      galvanizado y pintado, de 30x70 cm, acabada con lámina retrorreflectante
      clase RA1, fijada mecánicamente, en entorno urbano sin dificultad de
      movilidad, en aceras <= 3 m de ancho o calzada/plataforma única <= 7 m de
      ancho, con afectación por servicios o elementos de mobiliario urbano, en
      actuaciones de más de 5 u
    sentences:
      - >-
        Placa de identificación para instalaciones eléctricas, de aluminio
        anodizado y sin pintura, de 40x80 cm, acabada con lámina opaca, fijada
        con adhesivo, en entorno rural con acceso restringido, en caminos <= 2 m
        de ancho o terrenos no pavimentados <= 5 m de ancho, sin interferencia
        de servicios o elementos de señalización, en proyectos de menos de 10
        unidades.
      - >-
        Tubería de polietileno de alta densidad PE 100, de 900 mm de diámetro,
        con una presión nominal de 6 bar, serie SDR 26, conforme a la norma
        UNE-EN 12201-2, soldada y ubicada en el fondo de la zanja, en un entorno
        urbano con acceso fácil, en aceras de hasta 3 m de ancho o calzadas de
        hasta 7 m de ancho, sin interferencias de servicios o mobiliario urbano,
        en tramos de 1 a 10 m.
      - >-
        Panel informativo de dirección para señalización vial, fabricado en
        acero galvanizado y pintado, con dimensiones de 30x70 cm, recubierto con
        lámina retrorreflectante clase RA1, instalado de forma mecánica, en
        áreas urbanas con accesibilidad adecuada, en aceras de hasta 3 m de
        ancho o en calzadas/plataformas de hasta 7 m de ancho, considerando la
        interferencia de servicios o mobiliario urbano, en proyectos que superen
        las 5 unidades.
  - source_sentence: >-
      Bordillo drenante de piezas de hormigón polímero con canal interior,
      monobloque de 150x450 a 550 mm, colocado sobre base de hormigón no
      estructural de 15 N/mm2 de resistencia minima a compresión de 30 a 35 cm
      de altura, y rejuntado con mortero, en entorno urbano con dificultad de
      mobilidad, en aceras <= 3 m de ancho o calzada/plataforma única <= 7 m de
      ancho, con afectación por servicios o elementos de mobiliario urbano, en
      actuaciones de más de100 m
    sentences:
      - >-
        Puerta de doble hoja abatible de madera para interiores, con un grosor
        de 35 mm, dimensiones de paso de 70 + 40 cm de ancho y 200 cm de alto,
        diseñada para un marco de hasta 10 cm de espesor, en acabado de roble
        lacado, con paneles de aglomerado hidrófugo, molduras y tapajuntas de
        MDF, burlete de goma, herrajes de suspensión, cerradura de resbalón, y
        manillas de acero inoxidable 1.4301 (AISI 304), con placa pequeña, de
        gama alta.
      - >-
        Bordillo de hormigón polímero con drenaje, de dimensiones monobloque de
        150x450 a 550 mm, instalado sobre una base de hormigón no estructural
        con una resistencia mínima a compresión de 15 N/mm2, con una altura de
        30 a 35 cm, y sellado con mortero, en áreas urbanas con movilidad
        restringida, en aceras de hasta 3 m de ancho o en calzadas/plataformas
        de hasta 7 m de ancho, considerando la interferencia de servicios o
        mobiliario urbano, en proyectos que superen los 100 m.
      - >-
        Bordillo decorativo de cerámica esmaltada con diseño ornamental, de
        120x300 a 400 mm, instalado sobre una base de grava compactada de 10
        N/mm2 de resistencia mínima, con una altura de 20 a 25 cm, y sellado con
        silicona, en un entorno rural con fácil acceso, en caminos <= 2 m de
        ancho o senderos <= 5 m de ancho, sin interferencias por servicios o
        elementos de paisajismo, en proyectos de menos de 50 m.
  - source_sentence: >-
      Pavimento de loseta para paso de peatones de color con tacos de 20x20x4
      cm, colocado a pique de maceta con mortero mixto 1:2:10 y lechada de color
      con cemento blanco de albañilería, en entorno urbano sin dificultad de
      movilidad, en aceras > 3 y <= 5 m de ancho o calzada/plataforma única > 7
      y <= 12 m de ancho, sin afectación por servicios o elementos de mobiliario
      urbano, en actuaciones de 1 a 10 m2
    sentences:
      - >-
        Pavimento de loseta para áreas recreativas de color con tacos de 30x30x5
        cm, instalado a nivel de césped con mortero de alta resistencia y
        lechada de color con cemento gris, en entorno rural con acceso
        restringido, en senderos > 2 y <= 4 m de ancho o caminos de tierra > 5 y
        <= 10 m de ancho, con afectación por servicios de jardinería y elementos
        decorativos, en proyectos de 5 a 15 m2.
      - >-
        Revestimiento de pared interior a una altura máxima de 3 metros
        utilizando baldosas de gres porcelánico pulido en formato rectangular o
        cuadrado, con una densidad de 76 a 115 piezas por metro cuadrado, en un
        rango de precio medio, grupo BIa (UNE-EN 14411), instaladas con adhesivo
        para cerámica C2 (UNE-EN 12004) y selladas con lechada CG2 (UNE-EN
        13888).
      - >-
        Pavimento de baldosas para zonas peatonales de color, con piezas de
        20x20x4 cm, instalado a nivel de la maceta utilizando mortero en
        proporción 1:2:10 y lechada de color con cemento blanco, en un área
        urbana con accesibilidad adecuada, en aceras de más de 3 y hasta 5 m de
        ancho o en calzadas/plataformas únicas de más de 7 y hasta 12 m de
        ancho, sin interferencias de servicios o mobiliario urbano, en proyectos
        de entre 1 y 10 m2.
model-index:
  - name: Multilingual E5 Large with Linear Adapter for Construction Terms
    results:
      - task:
          type: triplet
          name: Triplet
        dataset:
          name: validation set
          type: validation-set
        metrics:
          - type: cosine_accuracy
            value: 1
            name: Cosine Accuracy
          - type: dot_accuracy
            value: 0.005681818181818182
            name: Dot Accuracy
          - type: manhattan_accuracy
            value: 1
            name: Manhattan Accuracy
          - type: euclidean_accuracy
            value: 1
            name: Euclidean Accuracy
          - type: max_accuracy
            value: 1
            name: Max Accuracy

Multilingual E5 Large with Linear Adapter for Construction Terms

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-large. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: intfloat/multilingual-e5-large
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 1024 tokens
  • Similarity Function: Cosine Similarity
  • Language: multilingual
  • License: apache-2.0

Model Sources

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
  (linear_adapter): MyLinearAdapter(
    (linear): Linear(in_features=1024, out_features=1024, bias=True)
  )
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("RamsesDIIP/me5-large-construction-adapter-v2")
# Run inference
sentences = [
    'Pavimento de loseta para paso de peatones de color con tacos de 20x20x4 cm, colocado a pique de maceta con mortero mixto 1:2:10 y lechada de color con cemento blanco de albañilería, en entorno urbano sin dificultad de movilidad, en aceras > 3 y <= 5 m de ancho o calzada/plataforma única > 7 y <= 12 m de ancho, sin afectación por servicios o elementos de mobiliario urbano, en actuaciones de 1 a 10 m2',
    'Pavimento de baldosas para zonas peatonales de color, con piezas de 20x20x4 cm, instalado a nivel de la maceta utilizando mortero en proporción 1:2:10 y lechada de color con cemento blanco, en un área urbana con accesibilidad adecuada, en aceras de más de 3 y hasta 5 m de ancho o en calzadas/plataformas únicas de más de 7 y hasta 12 m de ancho, sin interferencias de servicios o mobiliario urbano, en proyectos de entre 1 y 10 m2.',
    'Pavimento de loseta para áreas recreativas de color con tacos de 30x30x5 cm, instalado a nivel de césped con mortero de alta resistencia y lechada de color con cemento gris, en entorno rural con acceso restringido, en senderos > 2 y <= 4 m de ancho o caminos de tierra > 5 y <= 10 m de ancho, con afectación por servicios de jardinería y elementos decorativos, en proyectos de 5 a 15 m2.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Metric Value
cosine_accuracy 1.0
dot_accuracy 0.0057
manhattan_accuracy 1.0
euclidean_accuracy 1.0
max_accuracy 1.0

Training Details

Training Dataset

Unnamed Dataset

  • Size: 1,412 training samples
  • Columns: anchor, positive, and negative
  • Approximate statistics based on the first 1000 samples:
    anchor positive negative
    type string string string
    details
    • min: 25 tokens
    • mean: 106.15 tokens
    • max: 317 tokens
    • min: 24 tokens
    • mean: 102.11 tokens
    • max: 282 tokens
    • min: 20 tokens
    • mean: 86.67 tokens
    • max: 265 tokens
  • Samples:
    anchor positive negative
    Valla de brezo con puntas recortadas, de calidad extra nacional, de 130 cm de altura, colocada con grapas sobre valla existente accesible desde el suelo, en entorno urbano con dificultad de mobilidad, en aceras > 3 y <= 5 m de ancho o calzada/plataforma única > 7 y <= 12 m de ancho, sin afectación por servicios o elementos de mobiliario urbano, en actuaciones de más de100 m Cerca de brezo de calidad superior, de 130 cm de altura, instalada con grapas sobre una valla ya existente, en un área urbana con limitaciones de movilidad, en aceras de entre 3 y 5 m de ancho o en calzadas de 7 a 12 m de ancho, sin interferencias de servicios o mobiliario urbano, en proyectos que superen los 100 m. Valla de madera tratada, de 150 cm de altura, instalada con tornillos sobre una base de hormigón, en un entorno rural con fácil acceso, en caminos de más de 5 m de ancho, sin interferencias de vegetación o estructuras cercanas, en proyectos de menos de 50 m.
    De zanjas y pozos de cimentación, con hormigón autocompactante HA - 35 / AC - E1 / 12 / IIa + Qb, tamaño máximo del árido 12 mm, con >= 350 kg/m3 de cemento, aditivo superplastificante, apto para clase de exposición IIa+Qb, colocado desde camión Excavación de cimientos y pozos, utilizando hormigón autocompactante HA - 35 / AC - E1 / 12 / IIa + Qb, con un tamaño máximo de árido de 12 mm, conteniendo al menos 350 kg/m3 de cemento y un aditivo superplastificante, adecuado para la clase de exposición IIa+Qb, vertido directamente desde el camión. De zanjas y pozos de cimentación, con hormigón convencional de resistencia 25 MPa, tamaño máximo del árido 20 mm, con 250 kg/m3 de cemento, sin aditivos, apto para clase de exposición I, colocado manualmente.
    Pavimento de losa de hormigón para pavimentos de 40x40 cm y 7 cm de espesor, de forma cuadrado, textura rugosa, precio superior, sobre lecho de arena de 3 cm de espesor, con relleno de juntas con arena fina y compactación del pavimento acabado Losas de concreto de 40x40 cm y 7 cm de grosor, con superficie rugosa, instaladas sobre una base de arena de 3 cm, con juntas rellenadas con arena fina y compactación final del pavimento. Pavimento de cerámica para baldosas de 30x30 cm y 1 cm de espesor, de forma rectangular, textura lisa, precio inferior, sobre base de grava de 5 cm de espesor, con sellado de juntas con silicona y acabado pulido del suelo.
  • Loss: TripletLoss with these parameters:
    {
        "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
        "triplet_margin": 0.5
    }
    

Evaluation Dataset

Unnamed Dataset

  • Size: 176 evaluation samples
  • Columns: anchor, positive, and negative
  • Approximate statistics based on the first 176 samples:
    anchor positive negative
    type string string string
    details
    • min: 29 tokens
    • mean: 107.48 tokens
    • max: 317 tokens
    • min: 30 tokens
    • mean: 103.39 tokens
    • max: 254 tokens
    • min: 27 tokens
    • mean: 88.36 tokens
    • max: 216 tokens
  • Samples:
    anchor positive negative
    Hormigonado para muro, con hormigón para armar con aditivo hidrófugo HA - 35 / F / 20 / XC4 + XF1 + XA3 con una cantidad de cemento de 350 kg/m3 i relación agua cemento =< 0.45, colocado con cubilote Colocación de hormigón para muros, utilizando mezcla de hormigón con aditivo impermeabilizante HA - 35 / F / 20 / XC4 + XF1 + XA3, con una dosificación de cemento de 350 kg/m3 y una relación agua-cemento menor o igual a 0.45, vertido con cubilote. Hormigonado para pavimento, utilizando mezcla de asfalto con aditivo antideslizante AC - 20 / B / 15 / XA2 + XF2 + XA1 con una cantidad de betún de 250 kg/m3 y relación betún agregado =< 0.50, aplicado con rodillo.
    Pavimento de 20 cm de espesorhormigón con fibras HAF-30/A-3-3/F/12-60/IIb+F, tamaño máximo del árido 12 mm, con >= 325 kg/m3 de cemento y entre 30 y 35 kg/m3 de fibras de acero conformadas en extremos, apto para clase de exposición IIb+F, extendido con transporte interior mecánico eléctrico, tendido y vibrado mecánico, fratasado mecánico añadiendo 4 kg/m2 de polvo de cuarzo gris Losa de hormigón de 20 cm de grosor, reforzada con fibras HAF-30/A-3-3/F/12-60/IIb+F, con un tamaño máximo de árido de 12 mm, que contiene al menos 325 kg/m3 de cemento y entre 30 y 35 kg/m3 de fibras de acero en los extremos, adecuada para la clase de exposición IIb+F, aplicada mediante transporte mecánico eléctrico, colocación y vibrado mecánico, y acabado mecánico con 4 kg/m2 de polvo de cuarzo gris. Pavimento de 15 cm de espesor de asfalto modificado con polímeros, tamaño máximo del árido 10 mm, con >= 300 kg/m3 de betún y entre 25 y 30 kg/m3 de aditivos, apto para clase de exposición I, extendido con transporte manual, tendido y compactado manualmente, acabado con una capa de sellador.
    Cable de fibra óptica para uso exterior, con 2 fibras de tipo monomodo de designación G.652.D, estructura interna multitubo (estructura holgada), relleno de gel hidrófugo, elemento de refuerzo de fibra de vidrio, con cubierta de polietileno, armadura metálica de protección anti-roedores, clase de reacción al fuego Eca según la norma UNE-EN 50575, instalado Cable de fibra óptica exterior, compuesto por 2 fibras monomodo G.652.D, con diseño multitubo, relleno de gel resistente al agua, refuerzo de fibra de vidrio, revestido en polietileno y protegido con armadura metálica contra roedores, cumpliendo con la clase de reacción al fuego Eca según la norma UNE-EN 50575, instalado. Cable de fibra óptica para uso interior, con 4 fibras de tipo multimodo de designación OM3, estructura interna de tubo único (estructura apretada), relleno de espuma, elemento de refuerzo de acero, con cubierta de PVC, sin armadura, clase de reacción al fuego B2ca según la norma UNE-EN 50575, en proceso de instalación.
  • Loss: TripletLoss with these parameters:
    {
        "distance_metric": "TripletDistanceMetric.EUCLIDEAN",
        "triplet_margin": 0.5
    }
    

Training Hyperparameters

Non-Default Hyperparameters

  • eval_strategy: steps
  • per_device_train_batch_size: 6
  • per_device_eval_batch_size: 6
  • learning_rate: 2e-05
  • warmup_ratio: 0.1
  • fp16: True
  • load_best_model_at_end: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: steps
  • prediction_loss_only: True
  • per_device_train_batch_size: 6
  • per_device_eval_batch_size: 6
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 3
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: True
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • eval_use_gather_object: False
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Epoch Step Training Loss Validation Loss validation-set_max_accuracy
0.8475 200 0.1416 0.0302 0.9943
1.6949 400 0.0148 0.0148 1.0
2.5424 600 0.0047 0.0127 1.0
3.0 708 - - 1.0
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.2.0
  • Transformers: 4.44.2
  • PyTorch: 2.4.1+cu121
  • Accelerate: 0.34.2
  • Datasets: 3.0.1
  • Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

TripletLoss

@misc{hermans2017defense,
    title={In Defense of the Triplet Loss for Person Re-Identification},
    author={Alexander Hermans and Lucas Beyer and Bastian Leibe},
    year={2017},
    eprint={1703.07737},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}