metadata

base_model: indobenchmark/indobert-base-p2
datasets:
  - quarkss/stsb-indo-mt
  - quarkss/arxiv-cs-id-small
language:
  - id
library_name: sentence-transformers
metrics:
  - pearson_cosine
  - spearman_cosine
  - pearson_manhattan
  - spearman_manhattan
  - pearson_euclidean
  - spearman_euclidean
  - pearson_dot
  - spearman_dot
  - pearson_max
  - spearman_max
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:82253
  - loss:CoSENTLoss
  - loss:MultipleNegativesRankingLoss
widget:
  - source_sentence: evaluasi intrinsik berbasis korelasi dari representasi vektor kata
    sentences:
      - >-
        Dalam laporan teknis ini, kami merangkum fitur-fitur spasial-temporal
        dan menyajikan operator-operator inti dari kerangka kerja spesifikasi
        focusst. Kami menyajikan ide umum dari operator-operator ini, dengan
        menggunakan contoh sistem ketel uap untuk mengilustrasikan bagaimana
        kerangka kerja spesifikasi ini dapat diterapkan.  focusst terinspirasi
        oleh focus, sebuah kerangka kerja untuk spesifikasi formal dan
        pengembangan sistem interaktif. berbeda dengan focus, focusst
        dikhususkan untuk menentukan dan menganalisa aspek spasial (s) dan waktu
        (t) dari sistem, yang juga tercermin dalam nama kerangka kerja: ekstensi
        focus menyoroti sifat spasial-temporal dari spesifikasi.
      - >-
        Kami memperkenalkan qvec-cca - sebuah metrik evaluasi intrinsik untuk
        representasi vektor kata berdasarkan korelasi vektor yang dipelajari
        dengan fitur-fitur yang diekstraksi dari sumber daya linguistik. Kami
        menunjukkan bahwa skor qvec-cca merupakan proksi yang efektif untuk
        berbagai tugas semantik dan sintaksis ekstrinsik. Kami juga menunjukkan
        bahwa evaluasi yang diusulkan memperoleh korelasi yang lebih tinggi dan
        lebih konsisten dengan tugas-tugas hilir, dibandingkan dengan pendekatan
        yang sudah ada untuk evaluasi intrinsik vektor kata yang didasarkan pada
        kemiripan kata.
      - >-
        Menurut E.T. Jaynes dan E.P. Wigner, entropi adalah sebuah konsep
        antropomorfis dalam artian bahwa dalam sebuah sistem fisik terdapat
        banyak sistem termodinamika yang berhubungan. Sistem fisik dapat
        ditinjau dari berbagai sudut pandang dengan memeriksa variabel yang
        berbeda dan menghitung entropi secara berbeda pula. Dalam makalah ini
        kami mendiskusikan bagaimana konsep tersebut dapat diaplikasikan pada
        entropi informasi, bagaimana definisi entropi menurut Shannon dapat
        sesuai dengan pernyataan Jayne dan Wigner. Hal ini dicapai dengan
        menggeneralisasi gagasan Shannon tentang entropi informasi dan ini
        merupakan kontribusi utama dari makalah ini. kemudian kami membahas
        bagaimana entropi di bawah pertimbangan ini dapat digunakan untuk
        perbandingan kompleksitas kata sandi dan sebagai ukuran keanekaragaman
        yang berguna dalam analisis perilaku algoritma genetika.
  - source_sentence: >-
      basis berhingga sehubungan dengan superposisi pada kelas-kelas fungsi
      rekursif elementer, disertasi
    sentences:
      - >-
        Kami menyajikan algoritma untuk mengubah panorama bola dalam ruangan
        menjadi sebuah foto dengan tampilan overhead yang disimulasikan. gambar
        yang dihasilkan akan memiliki bidang pandang yang sangat luas yang
        mencakup hingga 4{\pi} steradian dari panorama bola. kami berpendapat
        bahwa metode kami melengkapi proyeksi stereografis yang biasa digunakan
        pada efek "planet kecil". proyeksi stereografis bekerja dengan sangat
        baik dalam menciptakan planet-planet kecil pada pemandangan di luar
        ruangan; sementara metode kami adalah mitra yang sangat sesuai untuk
        pemandangan di dalam ruangan. Inovasi utama dari metode kami adalah
        pengenalan proyeksi peta azimuthal baru yang dapat memadukan dengan
        mulus antara proyeksi stereografis dan proyeksi lambert azimuthal
        equal-area. proyeksi kami memiliki parameter yang dapat disesuaikan yang
        memungkinkan seseorang untuk mengontrol dan mengkompromikan antara
        distorsi bentuk dan distorsi ukuran dalam panorama yang diproyeksikan.
        parameter kontrol tambahan ini memberikan kemampuan proyeksi kami untuk
        menghasilkan hasil yang lebih unggul daripada proyeksi stereografis.
      - >-
        hocr adalah singkatan dari handwritten optical character recognition.
        hocr adalah sebuah proses pengenalan karakter tulisan tangan yang
        berbeda dari sebuah gambar digital dokumen. pengenalan karakter otomatis
        tulisan tangan telah menarik banyak peneliti di seluruh dunia untuk
        memberikan kontribusi dalam bidang pengenalan karakter tulisan tangan.
        identifikasi bentuk dan ekstraksi fitur merupakan bagian yang sangat
        penting dari setiap sistem pengenalan karakter dan keberhasilan metode
        ini sangat bergantung pada pemilihan fitur. namun ekstraksi fitur
        merupakan langkah yang paling penting untuk mendefinisikan bentuk
        karakter setepat dan seunik mungkin.Ini memang langkah yang paling
        penting dan tugas yang kompleks juga dan mencapai keberhasilan dengan
        menggunakan properti invarian, terlepas dari posisi dan orientasi. Momen
        zernike menggambarkan bentuk, mengidentifikasi rotasi invarian karena
        sifat ortogonalitasnya. modi adalah aksara kuno india yang memiliki
        representasi karakter yang kursif dan kompleks. Pekerjaan yang
        dijelaskan dalam makalah ini menyajikan efisiensi momen zernike atas
        momen hu 7 dengan zonasi untuk pengenalan otomatis karakter modi tulisan
        tangan. Pendekatan offline digunakan dalam makalah ini karena aksara
        modi sangat populer dan banyak digunakan untuk tujuan penulisan hingga
        abad ke-19 sebelum devanagari secara resmi diadopsi.
      - >-
        tesis ini telah dipertahankan pada tahun 2009 di lomonosov moscow
        stateuniversity. pada bab 1: 1. dibuktikan bahwa kelas fungsi elementer
        bawah (skolem) adalah himpunan semua fungsi-fungsi polinomial-terbatas
        yang dapat diperoleh dengan komposisi $x+1$, $xy$, $\max(x-y,0)$,
        $x\wedge y$, $\lfloor x/y \rfloor$, dan satu fungsi eksponensial ($2^x$
        atau $x^y$) menggunakan rumus yang tidak memiliki lebih dari 2 lantai
        sehubungan dengan eksponen (misalnya, $(x+y)^{xy+z}+1$ memiliki 2
        lantai, $$2^{2^x}$ memiliki 3 lantai). Di sini $x\wedge y$ adalah
        bitwise dan dari $x$ dan $y$. 2. Terbukti bahwa $\{x+y,\ \max(x-y,0),\
        x\wedge y,\ \lfloor x/y \rfloor,\2^{\lfloor \log_2 x \rfloor^2}\}$ dan
        $\{x+y,\ \max(x-y,0),\ x\wedge y,\\lfloor x/y \rfloor,\ x^{\lfloor
        \log_2 y \rfloor}\}$ adalah basis komposisi dalam versi fungsional dari
        $\mathrm{tc}^0$ yang seragam (juga dikenal sebagai $\mathrm{fom}$).  3.
        Hirarki kelas yang menghabiskan kelas fungsi elementer dijelaskan dalam
        hal komposisi dengan batasan pada sejumlah lantai dalam sebuah formula.
        hasil dari bab 1 dipublikasikan dalam:  1) volkov s.a. perluasan
        eksponensial dari fungsi-fungsi elementer skolem, dan
        superposisi-superposisi terbatas dari fungsi-fungsi aritmatika sederhana
        (dalam bahasa rusia), masalah-masalah matematis sibernetika, moscow,
        fizmatlit, 2007, vol. 16, hal. 163-190  2) doi:
        10.1134/s1064562407040217 pada bab 2 dijelaskan dasar komposisi
        sederhana pada kelas ${\cal e}^2$ hirarki grzegorczyk. hasil ini
        dipublikasikan pada doi: 10.1515/156939206779238436 pada bab 3
        dibuktikan bahwa grup permutasi $\mathrm{gr}(q)=\{f:\f,f^{-1}\in q\}$
        dibangkitkan oleh dua buah permutasi pada sembarang kelas $q$. Sebagai
        contoh, hal ini dibuktikan untuk $q=\mathrm{fp}$, di mana $\mathrm{fp}$
        adalah kelas dari semua fungsi-fungsi yang dapat dikomputasi dalam waktu
        polinomial (dengan panjang input). hasil dari bab 3 dipublikasikan di
        doi:10.1515/dma.2008.046
  - source_sentence: Sebuah kereta api hitam bergerak di atas rel.
    sentences:
      - Kereta api yang sebagian besar berwarna hitam di atas rel.
      - >-
        "Fonem" adalah sebuah konstruksi teoretis yang mungkin tidak bisa
        hilang.
      - Seorang pria sedang memainkan seruling.
  - source_sentence: Seseorang sedang mengocok telur.
    sentences:
      - Dua orang profesional medis berbaju hijau sedang mengamati sesuatu.
      - Seorang pria berlatih tinju
      - Seorang wanita mengaduk telur di dalam mangkuk.
  - source_sentence: >-
      TIDAK ada alasan yang tepat untuk kegagalan penerapan video play dalam
      sepak bola profesional.
    sentences:
      - >-
        Ada masalah lain dengan menerapkan tayangan ulang instan selain dari
        sekadar mengganggu alur permainan.
      - >-
        Squat udara, lunge ke depan dan samping, sprawl, kursi dinding, dan
        banyak sekali lompat tali.
      - Seseorang sedang mengebor sebuah lubang pada sepotong kayu.
model-index:
  - name: SentenceTransformer based on indobenchmark/indobert-base-p2
    results:
      - task:
          type: semantic-similarity
          name: Semantic Similarity
        dataset:
          name: sts dev
          type: sts-dev
        metrics:
          - type: pearson_cosine
            value: 0.8244011297264817
            name: Pearson Cosine
          - type: spearman_cosine
            value: 0.8421913944043852
            name: Spearman Cosine
          - type: pearson_manhattan
            value: 0.8401233515338152
            name: Pearson Manhattan
          - type: spearman_manhattan
            value: 0.8412783783649493
            name: Spearman Manhattan
          - type: pearson_euclidean
            value: 0.8400208563573309
            name: Pearson Euclidean
          - type: spearman_euclidean
            value: 0.841279376310476
            name: Spearman Euclidean
          - type: pearson_dot
            value: 0.715508766398216
            name: Pearson Dot
          - type: spearman_dot
            value: 0.7105595031452782
            name: Spearman Dot
          - type: pearson_max
            value: 0.8401233515338152
            name: Pearson Max
          - type: spearman_max
            value: 0.8421913944043852
            name: Spearman Max

SentenceTransformer based on indobenchmark/indobert-base-p2

This is a sentence-transformers model finetuned from indobenchmark/indobert-base-p2 on the stsb and arxiv_paper_cs_id datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: indobenchmark/indobert-base-p2
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 tokens
Similarity Function: Cosine Similarity
Training Datasets:
- stsb
- arxiv_paper_cs
Language: id

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("quarkss/indobert-base-p2-sts-arxiv-id")
# Run inference
sentences = [
    'TIDAK ada alasan yang tepat untuk kegagalan penerapan video play dalam sepak bola profesional.',
    'Ada masalah lain dengan menerapkan tayangan ulang instan selain dari sekadar mengganggu alur permainan.',
    'Seseorang sedang mengebor sebuah lubang pada sepotong kayu.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

Dataset: sts-dev
Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8244
spearman_cosine	0.8422
pearson_manhattan	0.8401
spearman_manhattan	0.8413
pearson_euclidean	0.84
spearman_euclidean	0.8413
pearson_dot	0.7155
spearman_dot	0.7106
pearson_max	0.8401
spearman_max	0.8422

Training Details

Training Datasets

stsb

Dataset: stsb at fc55c9d
Size: 5,749 training samples
Columns: sentence1, sentence2, and score
Approximate statistics based on the first 1000 samples:
sentence1 sentence2 score
type string string float
details
min: 6 tokens
mean: 9.65 tokens
max: 25 tokens

min: 6 tokens
mean: 9.59 tokens
max: 24 tokens

min: 0.0
mean: 0.54
max: 1.0

	sentence1	sentence2	score
type	string	string	float
details	min: 6 tokens mean: 9.65 tokens max: 25 tokens	min: 6 tokens mean: 9.59 tokens max: 24 tokens	min: 0.0 mean: 0.54 max: 1.0

Samples:

sentence1	sentence2	score
`Sebuah pesawat sedang lepas landas.`	`Sebuah pesawat terbang sedang lepas landas.`	`1.0`
`Seorang pria sedang memainkan seruling besar.`	`Seorang pria sedang memainkan seruling.`	`0.76`
`Seorang pria sedang mengoleskan keju parut di atas pizza.`	`Seorang pria sedang mengoleskan keju parut di atas pizza yang belum matang.`	`0.76`

Loss: CoSENTLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

arxiv_paper_cs

Dataset: arxiv_paper_cs
Size: 76,504 training samples
Columns: title and abstract
Approximate statistics based on the first 1000 samples:
title abstract
type string string
details
min: 4 tokens
mean: 14.39 tokens
max: 54 tokens

min: 40 tokens
mean: 195.76 tokens
max: 512 tokens

	title	abstract
type	string	string
details	min: 4 tokens mean: 14.39 tokens max: 54 tokens	min: 40 tokens mean: 195.76 tokens max: 512 tokens

Samples:

title	abstract
`menanyakan angka-angka geometris menggunakan bahasa terkontrol, grafik ontologis, dan kisi-kisi ketergantungan`	Sistem geometri dinamis (dynamic geometry systems/DGS) telah menjadi alat bantu dasar dalam banyak bidang geometri, misalnya dalam bidang pendidikan. pembuktian teorema otomatis geometri (geometry automated theorem provers/GATP) merupakan bidang penelitian yang aktif dan dianggap sebagai alat bantu dasar dalam perangkat lunak pendidikan yang disempurnakan di masa depan dan juga pada asisten matematika otomatis generasi berikutnya. repositori web yang baru-baru ini muncul untuk pengetahuan geometri, seperti tgtp dan intergeo, merupakan upaya untuk membuat kumpulan data yang sudah sangat banyak tentang pengetahuan geometri menjadi tersedia secara luas. Mengingat banyaknya informasi geometris yang telah tersedia, kita menghadapi kebutuhan akan mekanisme kueri untuk deskripsi konstruksi geometris. Dalam makalah ini kami membahas dua pendekatan untuk mendeskripsikan bangun geometris (deklaratif dan prosedural), dan menyajikan algoritme untuk melakukan kueri terhadap bangun geometris dalam korpus yang dideskripsikan secara deklaratif dan prosedural, dengan menggunakan bahasa alami terkontrol dgs atau bahasa alami terkontrol yang didedikasikan untuk kueri.
`identifikasi otomatis arteri dan vena retina pada citra fundus menggunakan pola biner lokal`	Klasifikasi arteri dan vena (av) pada citra retina merupakan kunci dari berbagai tugas yang diperlukan, seperti pengukuran otomatis rasio diameter arteriolar dan vena (avr). Makalah ini mengulas secara komprehensif tentang metode-metode klasifikasi av yang telah ada. Untuk memperbaiki metode-metode sebelumnya, diusulkan metode baru yang berbasis lokal bi-pola (lbp). Selain kesederhanaannya, lbp juga kuat terhadap citra fundus dengan kontras rendah dan kualitas rendah; serta membantu proses dengan menyertakan tambahan informasi tekstur dan bentuk av. Hasil eksperimen membandingkan kinerja metode baru dengan metode yang sudah ada sebelumnya; serta metode dengan skema ekstraksi fitur dan klasifikasi yang berbeda.
`analisis komprehensif representasi berbasis pembelajaran mendalam untuk pengenalan wajah`	Pendekatan berbasis deep learning telah mendominasi bidang pengenalan wajah karena peningkatan kinerja yang signifikan yang mereka berikan pada dataset liar yang menantang. pendekatan ini telah diuji secara ekstensif pada dataset yang tidak dibatasi, pada wajah berlabel di alam liar dan wajah-wajah di youtube, untuk beberapa nama. namun, kemampuan mereka untuk menangani variasi penampilan individu yang disebabkan oleh faktor-faktor seperti pose kepala, iluminasi, oklusi, dan ketidaksejajaran belum dinilai secara menyeluruh hingga saat ini. Dalam makalah ini, kami menyajikan studi komprehensif untuk mengevaluasi kinerja representasi wajah berbasis deep learning dalam beberapa kondisi termasuk berbagai sudut pose kepala, oklusi wajah bagian atas dan bawah, perubahan iluminasi dengan kekuatan yang berbeda, dan ketidaksejajaran karena lokalisasi fitur wajah yang salah. Dua model deep learning yang sukses dan tersedia untuk umum, yaitu vgg-face dan lightened cnn telah digunakan untuk mengekstrak representasi wajah. hasil yang diperoleh menunjukkan bahwa meskipun deep learning memberikan representasi yang kuat untuk pengenalan wajah, namun masih dapat memperoleh manfaat dari prapemrosesan, misalnya, untuk normalisasi pose dan pencahayaan untuk mencapai kinerja yang lebih baik dalam berbagai kondisi. Terutama, jika variasi-variasi ini tidak dimasukkan ke dalam dataset yang digunakan untuk melatih model deep learning, peran preprocessing menjadi lebih penting. Hasil eksperimen juga menunjukkan bahwa representasi berbasis deep learning kuat terhadap ketidaksejajaran dan dapat mentoleransi kesalahan lokalisasi fitur wajah hingga 10% dari jarak antar mata.

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Datasets

stsb

Dataset: stsb at fc55c9d
Size: 1,500 evaluation samples
Columns: sentence1, sentence2, and score
Approximate statistics based on the first 1000 samples:
sentence1 sentence2 score
type string string float
details
min: 5 tokens
mean: 14.38 tokens
max: 45 tokens

min: 6 tokens
mean: 14.39 tokens
max: 43 tokens

min: 0.0
mean: 0.47
max: 1.0

	sentence1	sentence2	score
type	string	string	float
details	min: 5 tokens mean: 14.38 tokens max: 45 tokens	min: 6 tokens mean: 14.39 tokens max: 43 tokens	min: 0.0 mean: 0.47 max: 1.0

Samples:

sentence1	sentence2	score
`Seorang pria dengan topi keras sedang menari.`	`Seorang pria yang mengenakan topi keras sedang menari.`	`1.0`
`Seorang anak kecil sedang menunggang kuda.`	`Seorang anak sedang menunggang kuda.`	`0.95`
`Seorang pria sedang memberi makan seekor tikus kepada seekor ular.`	`Pria itu sedang memberi makan seekor tikus kepada ular.`	`1.0`

Loss: CoSENTLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "pairwise_cos_sim"
}

arxiv_paper_cs

Dataset: arxiv_paper_cs
Size: 8,501 evaluation samples
Columns: title and abstract
Approximate statistics based on the first 1000 samples:
title abstract
type string string
details
min: 4 tokens
mean: 14.63 tokens
max: 47 tokens

min: 51 tokens
mean: 196.85 tokens
max: 512 tokens

	title	abstract
type	string	string
details	min: 4 tokens mean: 14.63 tokens max: 47 tokens	min: 51 tokens mean: 196.85 tokens max: 512 tokens

Samples:

title	abstract
`penemuan dan pelokalan objek tanpa pengawasan di alam liar: pencocokan berbasis bagian dengan proposal wilayah dari bawah ke atas`	Makalah ini membahas penemuan dan pelokalan tanpa pengawasan dari objek dominan dari koleksi gambar yang berisik dengan beberapa kelas objek. Pengaturan masalah ini sepenuhnya tanpa pengawasan, bahkan tanpa anotasi pada tingkat gambar atau asumsi kelas dominan tunggal. Ini jauh lebih umum daripada tugas kolokalisasi, kosegmentasi, atau pelokalan yang diawasi dengan lemah. Kami menangani masalah penemuan dan pelokalan dengan menggunakan pendekatan pencocokan wilayah berbasis bagian: kami menggunakan proposal wilayah yang sudah jadi untuk membentuk sekumpulan kotak pembatas kandidat untuk objek dan bagian objek. Wilayah-wilayah ini dicocokkan secara efisien di seluruh gambar menggunakan transformasi hough probabilistik yang mengevaluasi kepercayaan untuk setiap korespondensi kandidat dengan mempertimbangkan konsistensi tampilan dan spasial. Objek dominan ditemukan dan dilokalisasi dengan membandingkan skor wilayah kandidat dan memilih wilayah yang lebih menonjol daripada wilayah lain yang mengandungnya. Evaluasi ekstensif terhadap tolok ukur standar menunjukkan bahwa pendekatan yang diusulkan secara signifikan mengungguli kondisi saat ini dalam kolokisasi, dan mencapai penemuan objek yang kuat dalam set data kelas campuran yang menantang.
`pengertian aljabar tentang penghentian`	Lima gagasan aljabar tentang terminasi diformalkan, dianalisis dan dibandingkan: wellfoundedness atau noetherity, rumus l"ob, ketiadaan iterasi tak hingga, ketiadaan divergensi, dan normalisasi. penelitian ini didasarkan pada semiring modal, yaitu semiring idempoten yang bersifat aditif dengan operator modal maju dan mundur. Untuk memodelkan perilaku tak hingga, semiring idempoten diperluas ke semiring divergensi, aljabar kleene divergensi dan aljabar omega. Gagasan dan teknik yang dihasilkan digunakan dalam pembuktian kalkulasi teorema klasik dari teori penulisan ulang. aplikasi ini menunjukkan bahwa semiring modal merupakan alat yang ampuh untuk bernalar secara aljabar tentang dinamika terbatas dan tak hingga dari program dan sistem transisi.
`menyetel program logika fuzzy dengan eksekusi simbolik`	Pemrograman logika fuzzy merupakan paradigma deklaratif yang sedang berkembang yang bertujuan untuk mengintegrasikan logika fuzzy ke dalam pemrograman logika. Salah satu tugas tersulit dalam menentukan program logika fuzzy adalah menentukan bobot yang tepat untuk setiap aturan, serta penghubung dan operator fuzzy yang paling sesuai. Dalam makalah ini, kami memperkenalkan perluasan simbolis dari program logika fuzzy di mana beberapa parameter dapat dibiarkan tidak diketahui, sehingga pengguna dapat dengan mudah melihat dampak dari nilai-nilai yang mungkin. Selanjutnya, dengan diberikan sejumlah kasus uji, nilai yang paling tepat untuk parameter-parameter ini dapat dihitung secara otomatis.

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: steps
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
learning_rate: 2e-05
weight_decay: 0.01
warmup_ratio: 0.1
fp16: True

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: steps
prediction_loss_only: True
per_device_train_batch_size: 16
per_device_eval_batch_size: 16
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
learning_rate: 2e-05
weight_decay: 0.01
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: True
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: False
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
batch_sampler: batch_sampler
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	arxiv paper cs loss	stsb loss	sts-dev_spearman_cosine
0.0194	100	1.3793	-	-	-
0.0389	200	1.1011	-	-	-
0.0583	300	0.7999	-	-	-
0.0778	400	0.7443	-	-	-
0.0972	500	0.7195	0.3034	9.4158	0.7621
0.1167	600	0.6015	-	-	-
0.1361	700	0.6134	-	-	-
0.1556	800	0.6417	-	-	-
0.1750	900	0.5846	-	-	-
0.1945	1000	0.8131	0.2630	8.8162	0.7515
0.2139	1100	0.6905	-	-	-
0.2334	1200	0.4964	-	-	-
0.2528	1300	0.525	-	-	-
0.2723	1400	0.6376	-	-	-
0.2917	1500	0.6487	0.2450	7.6820	0.7145
0.3112	1600	0.4807	-	-	-
0.3306	1700	0.6752	-	-	-
0.3501	1800	0.3399	-	-	-
0.3695	1900	0.5505	-	-	-
0.3890	2000	0.3662	0.2180	8.5049	0.6860
0.4084	2100	0.471	-	-	-
0.4278	2200	0.465	-	-	-
0.4473	2300	0.43	-	-	-
0.4667	2400	0.3793	-	-	-
0.4862	2500	0.6452	0.2055	7.7386	0.7735
0.5056	2600	0.4262	-	-	-
0.5251	2700	0.3848	-	-	-
0.5445	2800	0.4272	-	-	-
0.5640	2900	0.3874	-	-	-
0.5834	3000	0.42	0.1885	7.3993	0.7694
0.6029	3100	0.3812	-	-	-
0.6223	3200	0.4634	-	-	-
0.6418	3300	0.424	-	-	-
0.6612	3400	0.6116	-	-	-
0.6807	3500	0.3541	0.1821	7.1737	0.7756
0.7001	3600	0.494	-	-	-
0.7196	3700	0.3463	-	-	-
0.7390	3800	0.4878	-	-	-
0.7585	3900	0.7074	-	-	-
0.7779	4000	0.3102	0.1599	7.0651	0.7908
0.7974	4100	0.5743	-	-	-
0.8168	4200	0.439	-	-	-
0.8363	4300	0.4874	-	-	-
0.8557	4400	0.3162	-	-	-
0.8751	4500	0.5188	0.1506	6.1683	0.8040
0.8946	4600	0.2958	-	-	-
0.9140	4700	0.4295	-	-	-
0.9335	4800	0.5376	-	-	-
0.9529	4900	0.2758	-	-	-
0.9724	5000	0.3258	0.1392	6.7478	0.7936
0.9918	5100	0.3645	-	-	-
1.0113	5200	0.4156	-	-	-
1.0307	5300	0.361	-	-	-
1.0502	5400	0.4824	-	-	-
1.0696	5500	0.4721	0.1357	6.2677	0.8159
1.0891	5600	0.4966	-	-	-
1.1085	5700	0.3686	-	-	-
1.1280	5800	0.3774	-	-	-
1.1474	5900	0.4448	-	-	-
1.1669	6000	0.3911	0.1232	6.5678	0.8198
1.1863	6100	0.572	-	-	-
1.2058	6200	0.3344	-	-	-
1.2252	6300	0.5053	-	-	-
1.2447	6400	0.2711	-	-	-
1.2641	6500	0.437	0.1300	6.5860	0.8155
1.2835	6600	0.2762	-	-	-
1.3030	6700	0.5095	-	-	-
1.3224	6800	0.3834	-	-	-
1.3419	6900	0.3036	-	-	-
1.3613	7000	0.4065	0.1287	6.3673	0.8028
1.3808	7100	0.1095	-	-	-
1.4002	7200	0.3184	-	-	-
1.4197	7300	0.1512	-	-	-
1.4391	7400	0.333	-	-	-
1.4586	7500	0.1431	0.1196	7.1903	0.8085
1.4780	7600	0.5441	-	-	-
1.4975	7700	0.2221	-	-	-
1.5169	7800	0.3238	-	-	-
1.5364	7900	0.1424	-	-	-
1.5558	8000	0.275	0.1190	6.7080	0.8182
1.5753	8100	0.139	-	-	-
1.5947	8200	0.3027	-	-	-
1.6142	8300	0.3137	-	-	-
1.6336	8400	0.2764	-	-	-
1.6531	8500	0.3538	0.1174	6.5456	0.8191
1.6725	8600	0.3095	-	-	-
1.6919	8700	0.2211	-	-	-
1.7114	8800	0.3583	-	-	-
1.7308	8900	0.3033	-	-	-
1.7503	9000	0.3815	0.1126	7.1239	0.8204
1.7697	9100	0.4188	-	-	-
1.7892	9200	0.3312	-	-	-
1.8086	9300	0.3496	-	-	-
1.8281	9400	0.2666	-	-	-
1.8475	9500	0.2697	0.1044	6.6489	0.8260
1.8670	9600	0.3439	-	-	-
1.8864	9700	0.2813	-	-	-
1.9059	9800	0.2207	-	-	-
1.9253	9900	0.2382	-	-	-
1.9448	10000	0.4296	0.1039	6.3442	0.8375
1.9642	10100	0.219	-	-	-
1.9837	10200	0.209	-	-	-
2.0031	10300	0.305	-	-	-
2.0226	10400	0.2147	-	-	-
2.0420	10500	0.3895	0.1028	6.4420	0.8364
2.0615	10600	0.416	-	-	-
2.0809	10700	0.2972	-	-	-
2.1004	10800	0.3619	-	-	-
2.1198	10900	0.2692	-	-	-
2.1392	11000	0.3194	0.0995	7.2408	0.8340
2.1587	11100	0.3272	-	-	-
2.1781	11200	0.3632	-	-	-
2.1976	11300	0.3714	-	-	-
2.2170	11400	0.4847	-	-	-
2.2365	11500	0.1553	0.1032	7.0639	0.8312
2.2559	11600	0.2912	-	-	-
2.2754	11700	0.3506	-	-	-
2.2948	11800	0.4386	-	-	-
2.3143	11900	0.1853	-	-	-
2.3337	12000	0.4417	0.1021	6.9850	0.8401
2.3532	12100	0.2067	-	-	-
2.3726	12200	0.1964	-	-	-
2.3921	12300	0.2289	-	-	-
2.4115	12400	0.1728	-	-	-
2.4310	12500	0.242	0.0986	7.2576	0.8411
2.4504	12600	0.1623	-	-	-
2.4699	12700	0.3243	-	-	-
2.4893	12800	0.2584	-	-	-
2.5088	12900	0.2971	-	-	-
2.5282	13000	0.0833	0.0993	7.3682	0.8370
2.5476	13100	0.2298	-	-	-
2.5671	13200	0.1919	-	-	-
2.5865	13300	0.2254	-	-	-
2.6060	13400	0.1474	-	-	-
2.6254	13500	0.2348	0.0983	7.2719	0.8368
2.6449	13600	0.264	-	-	-
2.6643	13700	0.3416	-	-	-
2.6838	13800	0.2327	-	-	-
2.7032	13900	0.3539	-	-	-
2.7227	14000	0.122	0.0955	7.1619	0.8410
2.7421	14100	0.3808	-	-	-
2.7616	14200	0.4472	-	-	-
2.7810	14300	0.1957	-	-	-
2.8005	14400	0.3181	-	-	-
2.8199	14500	0.2838	0.0932	7.2225	0.8424
2.8394	14600	0.2699	-	-	-
2.8588	14700	0.1874	-	-	-
2.8783	14800	0.3185	-	-	-
2.8977	14900	0.1529	-	-	-
2.9172	15000	0.2448	0.0925	7.3046	0.8422
2.9366	15100	0.3415	-	-	-
2.9560	15200	0.222	-	-	-
2.9755	15300	0.1858	-	-	-
2.9949	15400	0.1906	-	-	-

Framework Versions

Python: 3.10.13
Sentence Transformers: 3.0.1
Transformers: 4.42.3
PyTorch: 2.1.2
Accelerate: 0.32.1
Datasets: 2.20.0
Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}