anhtuansh's picture
Add new SentenceTransformer model.
a72df25 verified
---
language: []
library_name: sentence-transformers
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:10200
- loss:MatryoshkaLoss
- loss:MultipleNegativesRankingLoss
base_model: bkai-foundation-models/vietnamese-bi-encoder
datasets: []
metrics:
- cosine_accuracy@1
- cosine_accuracy@3
- cosine_accuracy@5
- cosine_accuracy@10
- cosine_precision@1
- cosine_precision@3
- cosine_precision@5
- cosine_precision@10
- cosine_recall@1
- cosine_recall@3
- cosine_recall@5
- cosine_recall@10
- cosine_ndcg@10
- cosine_mrr@10
- cosine_map@100
widget:
- source_sentence:  1.500.000 (một triệu năm trăm nghìn) đồng/Giấy phép (theo quy
định tại Khoản b Điều 4 Thông số 143/2016/TT-BTC ngày 26/9/2016 của Bộ Tài
chính, hiệu lực thi hành kể từ ngày 01/01/2017).
sentences:
- 'Phí lệ phí của Thủ tục: Thủ tục Cấp lại Giấy phép thành lập Văn phòng đại diện
của thương nhân nước ngoài tại Việt Nam là bao nhiêu ?'
- Trường hợp đã hết thời hiệu yêu cầu thi hành án, đề nghị khôi phục thời hiệu thi
hành án cần những thủ tục gì?
- Người điều khiển, người đi trên phương tiện, phương tiện xuất cảnh, nhập cảnh
qua cửa khẩu biên giới đất liền phải thực hiện thủ tục biên phòng điện tử như
thế nào?
- source_sentence: " Bước 1: Tổ chức sử dụng đất chuẩn bị hồ sơ theo quy định của\
\ pháp luật;\n Bước 2: Tổ chức sử dụng đất nộp hồ sơ tại Bộ phận hành chính công\
\ về Tài nguyên và Môi trường của Ban Quản lý Khu kinh tế Quảng Ninh tại Trung\
\ tâm Phục vụ Hành chính công tỉnh;\nBước 3: Cán bộ Bộ phận hành chính công về\
\ Tài nguyên và Môi trường kiểm tra hồ sơ và trao giấy tiếp nhận hồ sơ cho nhà\
\ đầu tư;\nBước 4: Tổ chức sử dụng đất căn cứ thời gian ghi trên giấy tiếp nhận\
\ hồ sơ đến Trung tâm Phục vụ hành chính công nhận kết quả."
sentences:
- Khiếu nại quyết định kỷ luật cán bộ, công chức được thực hiện trong trường hợp
nào?
- 'Trình tự thực hiện của Thủ tục: Thủ tục miễn, giảm tiền thuê đất trong Khu kinh
tế (trừ Khu kinh tế Vân Đồn) là gì ?'
- Khi nào người giải quyết tố cáo tạm đình chỉ việc giải quyết tố cáo?
- source_sentence: 'Theo quy định tại Nghị định số 91/2017/NĐ-CP ngày 31/7/2017 của
Chính phủ quy định chi tiết thi hành Luật sửa đổi, bổ sung một số điều của Luật
thi đua, khen thưởng năm 2013:
Trong thời hạn 20 ngày ngày làm việc (30 ngày làm việc đối với trường
hợp phải lấy ý kiến hiệp y) kể từ ngày nhận đủ hồ sơ theo quy định,
Trưởng ban Ban Thi đua - Khen thưởng Trung ương trình Thủ tướng Chính phủ
xem xét, quyết định;
Sau khi nhận được quyết định khen thưởng của Thủ tướng Chính phủ, trong thời hạn
10 ngày làm việc, Ban Thi đua - Khen thưởng Trung ương sao quyết định và thông
báo kết quả khen thưởng cho bộ, ban, ngành, tỉnh, đoàn thể trung ương trình khen
thưởng;
Sau khi nhận được quyết định khen thưởng của cấp có thẩm quyền, trong thời hạn
10 ngày làm việc, cơ quan trình khen thưởng thông báo và gửi kết quả khen thưởng
cho các trường hợp được khen thưởng;
Đối với các trường hợp không đủ điều kiện, tiêu chuẩn, hồ sơ theo quy định, trong
thời hạn 10ngày làm việc kể từ ngày nhận đủ hồ sơ theo quy định, Ban Thi đua -
Khen thưởng Trung ương thông báo bằng văn bản cho bộ, ban, ngành, tỉnh, đoàn thể
trung ương trình khen thưởng.'
sentences:
- Yêu cầu về xác nhận quá trình thực hành trong cấp chứng chỉ hành nghề khám chữa
bệnh gì?
- Đề nghị cho biết thời hạn thực hiện thủ tục tặng thưởng "Cờ thi đua của Chính
phủ" về thành tích thi đua theo đợt hoặc chuyên đề
-  Vợ chồng tôi năm nay được 38 tuổi, nghề nghiệp nông dân. Vợ chồng tôi muốn
tham gia BHXH tự nguyện để khi về già lương hưu. Vậy vợ chồng tôi được đóng
BHXH không? 
- source_sentence: Theo quy định tại điểm c Khoản 1 Điều 211 Luật Doanh nghiệp, trường
hợp doanh nghiệp ngừng hoạt động kinh doanh 01 năm không thông báo với quan
đăng kinh doanh quan thuế thì doanh nghiệp thuộc trường hợp bị thu hồi
Giấy chứng nhận đăng doanh nghiệp.- Trình tự, thủ tục thu hồi Giấy chứng nhận
đăng doanh nghiệp thực hiện theo quy định tại Khoản 3 Điều 63 Nghị định số
78/2015/NĐ-CP được sửa đổi, bổ sung tại Khoản 20 Điều 1 Nghị định số 108/2018/NĐ-CP
sửa đổi, bổ sung một số điều của Nghị định số 78/2015/NĐ-CP. Theo đó, Phòng Đăng
kinh doanh thông báo bằng văn bản về hành vi vi phạm yêu cầu người đại diện
theo pháp luật của doanh nghiệp đến trụ sở của Phòng để giải trình. Sau 10 ngày
làm việc, kể từ ngày kết thúc thời hạn hẹn trong thông báo người được yêu cầu
không đến hoặc nội dung giải trình không được chấp thuận thì Phòng Đăng kinh
doanh ra quyết định thu hồi Giấy chứng nhận đăng doanh nghiệp.- Như vậy, theo
quy định nêu trên việc công ty ngừng hoạt động kinh doanh 01 năm không thông
báo với quan đăng kinh doanh quan thuế vi phạm quy định pháp luật
thuộc một trong các trường hợp bị thu hồi Giấy chứng nhận đăng doanh nghiệp.
sentences:
- Thủ tục hồ xin phép chuyển đổi mục đích sử dụng, di dời, tháo dỡ?
- Thời gian đăng hoạt động của Chi nhánh của Tổ chức trọng tài nước ngoài tại
Việt Nam được quy định như thế nào?
- Công ty TNHH XYZ ngừng hoạt động kinh doanh 01 năm không thông báo với quan
đăng kinh doanh quan thuế? Trong trường hợp này, Công ty bị thu hồi Giấy
chứng nhận đăng doanh nghiệp thì đúng quy định pháp luật hiện hành không?
- source_sentence: thời hạn giải quyết việc gia hạn thời gian học tập cho lưu học
sinh để hoàn thành khóa học như sau:Tối đa 20 ngày làm việc kể từ ngày nhận đủ
hồ hợp lệ.
sentences:
- Tôi muốn hỏi về gia hạn thời gian học tập cho lưu học sinh để hoàn thành khóa
học, thời hạn giải quyết như thế nào?
- Thành phần hồ giải quyết chế độ hỗ trợ đối với người Việt Nam công với cách
mạng quy định tại Nghị định số 102/2018/NĐ- CP ngày 20/7/2018 của Chính phủ về
chế độ hỗ trợ một số chế độ đãi ngộ khác đối với người Việt Nam công với
cách mạng, người tham gia kháng chiến, chiến tranh bảo vệ Tổ quốc làm nhiệm
vụ quốc tế đang định nước ngoài (Nghị định số 102/2018/NĐ-CP), bao gồm những
giấy tờ gì?
- Trường hợp nào không thuộc trường hợp điều chỉnh giấy phép khai thác nước mặt,
nước biển?
pipeline_tag: sentence-similarity
model-index:
- name: SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder
results:
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: dim 768
type: dim_768
metrics:
- type: cosine_accuracy@1
value: 0.5238095238095238
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.6834215167548501
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.746031746031746
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.798941798941799
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.5238095238095238
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.22780717225161667
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.1492063492063492
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.07989417989417988
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.5238095238095238
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.6834215167548501
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.746031746031746
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.798941798941799
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.6615546646300381
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.6173889308809946
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.623396480440854
name: Cosine Map@100
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: dim 512
type: dim_512
metrics:
- type: cosine_accuracy@1
value: 0.5246913580246914
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.6781305114638448
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.7451499118165785
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.7918871252204586
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.5246913580246914
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.22604350382128158
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.1490299823633157
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.07918871252204585
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.5246913580246914
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.6781305114638448
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.7451499118165785
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.7918871252204586
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.657037167164812
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.6137468155986678
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.6201350917863858
name: Cosine Map@100
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: dim 256
type: dim_256
metrics:
- type: cosine_accuracy@1
value: 0.5264550264550265
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.6657848324514991
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.7345679012345679
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.7857142857142857
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.5264550264550265
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.22192827748383304
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.1469135802469136
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.07857142857142857
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.5264550264550265
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.6657848324514991
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.7345679012345679
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.7857142857142857
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.6532010943983831
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.6109077993337254
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.6170649752059452
name: Cosine Map@100
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: dim 128
type: dim_128
metrics:
- type: cosine_accuracy@1
value: 0.5052910052910053
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.6481481481481481
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.716931216931217
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.7795414462081128
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.5052910052910053
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.21604938271604937
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.14338624338624337
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.07795414462081128
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.5052910052910053
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.6481481481481481
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.716931216931217
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.7795414462081128
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.6385870412148211
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.5938485064807817
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.5999045663762226
name: Cosine Map@100
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: dim 64
type: dim_64
metrics:
- type: cosine_accuracy@1
value: 0.47795414462081126
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.6287477954144621
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.6984126984126984
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.7627865961199295
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.47795414462081126
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.20958259847148733
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.13968253968253966
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.07627865961199294
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.47795414462081126
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.6287477954144621
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.6984126984126984
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.7627865961199295
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.616607053816669
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.5701320651717475
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.5766001101533499
name: Cosine Map@100
---
# SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) <!-- at revision 84f9d9ada0d1a3c37557398b9ae9fcedcdf40be0 -->
- **Maximum Sequence Length:** 256 tokens
- **Output Dimensionality:** 768 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("anhtuansh/vietnamese-bi-encoder-Financial-Matryoshka")
# Run inference
sentences = [
'thời hạn giải quyết việc gia hạn thời gian học tập cho lưu học sinh để hoàn thành khóa học như sau:Tối đa 20 ngày làm việc kể từ ngày nhận đủ hồ sơ hợp lệ.',
'Tôi muốn hỏi về gia hạn thời gian học tập cho lưu học sinh để hoàn thành khóa học, có thời hạn giải quyết như thế nào?',
'Thành phần hồ sơ giải quyết chế độ hỗ trợ đối với người Việt Nam có công với cách mạng quy định tại Nghị định số 102/2018/NĐ- CP ngày 20/7/2018 của Chính phủ về chế độ hỗ trợ và một số chế độ đãi ngộ khác đối với người Việt Nam có công với cách mạng, người tham gia kháng chiến, chiến tranh bảo vệ Tổ quốc và làm nhiệm vụ quốc tế đang định cư ở nước ngoài (Nghị định số 102/2018/NĐ-CP), bao gồm những giấy tờ gì?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```
<!--
### Direct Usage (Transformers)
<details><summary>Click to see the direct usage in Transformers</summary>
</details>
-->
<!--
### Downstream Usage (Sentence Transformers)
You can finetune this model on your own dataset.
<details><summary>Click to expand</summary>
</details>
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
## Evaluation
### Metrics
#### Information Retrieval
* Dataset: `dim_768`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:-----------|
| cosine_accuracy@1 | 0.5238 |
| cosine_accuracy@3 | 0.6834 |
| cosine_accuracy@5 | 0.746 |
| cosine_accuracy@10 | 0.7989 |
| cosine_precision@1 | 0.5238 |
| cosine_precision@3 | 0.2278 |
| cosine_precision@5 | 0.1492 |
| cosine_precision@10 | 0.0799 |
| cosine_recall@1 | 0.5238 |
| cosine_recall@3 | 0.6834 |
| cosine_recall@5 | 0.746 |
| cosine_recall@10 | 0.7989 |
| cosine_ndcg@10 | 0.6616 |
| cosine_mrr@10 | 0.6174 |
| **cosine_map@100** | **0.6234** |
#### Information Retrieval
* Dataset: `dim_512`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:-----------|
| cosine_accuracy@1 | 0.5247 |
| cosine_accuracy@3 | 0.6781 |
| cosine_accuracy@5 | 0.7451 |
| cosine_accuracy@10 | 0.7919 |
| cosine_precision@1 | 0.5247 |
| cosine_precision@3 | 0.226 |
| cosine_precision@5 | 0.149 |
| cosine_precision@10 | 0.0792 |
| cosine_recall@1 | 0.5247 |
| cosine_recall@3 | 0.6781 |
| cosine_recall@5 | 0.7451 |
| cosine_recall@10 | 0.7919 |
| cosine_ndcg@10 | 0.657 |
| cosine_mrr@10 | 0.6137 |
| **cosine_map@100** | **0.6201** |
#### Information Retrieval
* Dataset: `dim_256`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:-----------|
| cosine_accuracy@1 | 0.5265 |
| cosine_accuracy@3 | 0.6658 |
| cosine_accuracy@5 | 0.7346 |
| cosine_accuracy@10 | 0.7857 |
| cosine_precision@1 | 0.5265 |
| cosine_precision@3 | 0.2219 |
| cosine_precision@5 | 0.1469 |
| cosine_precision@10 | 0.0786 |
| cosine_recall@1 | 0.5265 |
| cosine_recall@3 | 0.6658 |
| cosine_recall@5 | 0.7346 |
| cosine_recall@10 | 0.7857 |
| cosine_ndcg@10 | 0.6532 |
| cosine_mrr@10 | 0.6109 |
| **cosine_map@100** | **0.6171** |
#### Information Retrieval
* Dataset: `dim_128`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:-----------|
| cosine_accuracy@1 | 0.5053 |
| cosine_accuracy@3 | 0.6481 |
| cosine_accuracy@5 | 0.7169 |
| cosine_accuracy@10 | 0.7795 |
| cosine_precision@1 | 0.5053 |
| cosine_precision@3 | 0.216 |
| cosine_precision@5 | 0.1434 |
| cosine_precision@10 | 0.078 |
| cosine_recall@1 | 0.5053 |
| cosine_recall@3 | 0.6481 |
| cosine_recall@5 | 0.7169 |
| cosine_recall@10 | 0.7795 |
| cosine_ndcg@10 | 0.6386 |
| cosine_mrr@10 | 0.5938 |
| **cosine_map@100** | **0.5999** |
#### Information Retrieval
* Dataset: `dim_64`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:-----------|
| cosine_accuracy@1 | 0.478 |
| cosine_accuracy@3 | 0.6287 |
| cosine_accuracy@5 | 0.6984 |
| cosine_accuracy@10 | 0.7628 |
| cosine_precision@1 | 0.478 |
| cosine_precision@3 | 0.2096 |
| cosine_precision@5 | 0.1397 |
| cosine_precision@10 | 0.0763 |
| cosine_recall@1 | 0.478 |
| cosine_recall@3 | 0.6287 |
| cosine_recall@5 | 0.6984 |
| cosine_recall@10 | 0.7628 |
| cosine_ndcg@10 | 0.6166 |
| cosine_mrr@10 | 0.5701 |
| **cosine_map@100** | **0.5766** |
<!--
## Bias, Risks and Limitations
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->
<!--
### Recommendations
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->
## Training Details
### Training Dataset
#### Unnamed Dataset
* Size: 10,200 training samples
* Columns: <code>positive</code> and <code>anchor</code>
* Approximate statistics based on the first 1000 samples:
| | positive | anchor |
|:--------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
| type | string | string |
| details | <ul><li>min: 4 tokens</li><li>mean: 153.67 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 6 tokens</li><li>mean: 37.69 tokens</li><li>max: 256 tokens</li></ul> |
* Samples:
| positive | anchor |
|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <code>1. Thẩm quyền cấp giấy phép tổ chức triển lãm, hội chợ xuất bản phẩm được quy định cụ thể như sau: - Bộ Thông tin và Truyền thông cấp giấy phép cho cơ quan, tổ chức ở trung ương; cơ quan, tổ chức, cá nhân nước ngoài;- Ủy ban nhân dân cấp tỉnh cấp giấy phép cho cơ quan, tổ chức, cá nhân có trụ sở hoặc cư trú tại địa phương; chi nhánh, văn phòng đại diện, đơn vị trực thuộc cơ quan, tổ chức ở trung ương đặt tại địa phương.2. Hồ sơ bao gồm: - Đơn đề nghị cấp giấy phép trong đó ghi rõ mục đích, thời gian, địa điểm và tên các đơn vị tham gia triển lãm, hội chợ;- Danh mục xuất bản phẩm để triển lãm, hội chợ theo mẫu quy định.(Quy định tại Khoản 2, 3 Điều 44 Luật Xuất bản)</code> | <code>Hồ sơ và thẩm quyền cấp giấy phép tổ chức triển lãm, hội chợ xuất bản phẩm được quy định cụ thể như thế nào?</code> |
| <code>- Trường hợp mất Danh mục và Phiếu theo dõi trừ lùi thì người khai hải quan có hồ sơ đề nghị cơ quan hải quan nơi cấp Danh mục lần đầu đề nghị cấp lại, bao gồm:<br>+ Công văn đề nghị cấp lại Danh mục, Phiếu theo dõi trừ lùi trong đó nêu rõ: lý do mất Danh mục, Phiếu theo dõi trừ lùi và cam kết của người khai hải quan về tính chính xác của nội dung khai báo;<br>+ Bảng kê toàn bộ tờ khai hải quan (điện tử hoặc giấy) của số lượng hàng hóa đã nhập khẩu theo danh mục;<br>+ Bản Danh mục và Phiếu theo dõi trừ lùi của cơ quan hải quan nơi làm thủ tục nhập khẩu lô hàng cuối cùng trước khi thất lạc (01 bản chụp có xác nhận của cơ quan hải quan nơi nhập khẩu).<br>- Khi làm thủ tục hải quan, người khai hải quan nộp, xuất trình cho cơ quan hải quan nơi đăng ký tờ khai hải quan các hồ sơ sau:<br>+ Hồ sơ hải quan theo quy định hiện hành;<br>+ Danh mục hàng hóa và Phiếu theo dõi trừ lùi đã đăng ký với cơ quan hải quan (bản giao người khai hải quan) để cơ quan hải quan làm thủ tục thực hiện trừ lùi hàng hóa nhập khẩu.</code> | <code>Trường hợp tôi làm mất Danh mục và Phiếu theo dõi trừ lùi hàng hóa nhập khẩu dung môi N-Hexan dùng trong sản xuất khô dầu đậu tương và dầu thực vật, cám gạo trích ly và dầu cám thì cần làm những thủ tục gì?</code> |
| <code>Thẩm quyền cấp Giấy chứng nhận cơ sở đủ điều kiện đăng kiểm tàu cá là: Tổng cục Thủy sản.</code> | <code>Thẩm quyền cấp Giấy chứng nhận cơ sở đủ điều kiện đăng kiểm tàu cá ?</code> |
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
```json
{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
```
### Evaluation Dataset
#### Unnamed Dataset
* Size: 1,134 evaluation samples
* Columns: <code>positive</code> and <code>anchor</code>
* Approximate statistics based on the first 1000 samples:
| | positive | anchor |
|:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
| type | string | string |
| details | <ul><li>min: 4 tokens</li><li>mean: 155.4 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 6 tokens</li><li>mean: 37.17 tokens</li><li>max: 256 tokens</li></ul> |
* Samples:
| positive | anchor |
|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <code>Việc thực hiện thủ tục tặng thưởng Bằng khen cấp Bộ, ban, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương về thành tích đột xuất được tiến hành như sau:<br>Bước 1. Vụ, phòng, Ban Thi đua – Khen thưởng các Bộ, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương tiếp nhận đề nghị khen thưởng của các đơn vị thực thuộc.<br>Bước 2. Thẩm định hồ sơ, xin ý kiến các cơ quan liên quan, báo cáo Hội đồng thi đua khen thưởng cùng cấp, tổng hợp trình Bộ trưởng, thủ trưởng đơn vị, Chủ tịch UBND tỉnh, thành phố quyết định khen thưởng.<br>Bước 3. Khi có Quyết định của Bộ trưởng, thủ trưởng đơn vị, Chủ tịch UBND tỉnh, thành phố trực thuộc Trung ương; Vụ, phòng, Ban Thi đua – khen thưởng các Bộ, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương thông báo Quyết định, viết bằng, đóng dấu và cấp phát cho đơn vị trình khen.<br>Bước 4. Các trường hợp không được khen thưởng (không đúng đối tượng, không đủ tiêu chuẩn, không đủ hồ sơ hoặc vi phạm pháp luật), Vụ, phòng, Ban Thi đua – khen thưởng các Bộ, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương thông báo đến các đơn vị trình khen biết.</code> | <code>Đề nghị cho biết trình tự thực hiện thủ tục tặng thưởng Bằng khen cấp Bộ, ban, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương về thành tích đột xuất</code> |
| <code>Bông thủy tinh chống cháy là vật liệu chống cháy, thuộc danh mục phương tiện PCCC quy định Phụ lục V Nghị định số 79/2014/NĐ-CP ngày 31/7/2014 quy định chi tiết thi hành một số điều của Luật phòng cháy và chữa cháy và Luật sửa đổi, bổ sung một số điều của luật phòng cháy và chữa cháy. Do đó, nếu đưa vào sử dụng trong hạng mục PCCC của công trình thì phải kiểm định về PCCC. Tuy nhiên, đối với vật liệu bông thủy tinh cách nhiệt chống cháy được các cơ quan, tổ chức, cá nhân cần xem xét tùy vào yêu cầu cụ thể của công trình để đăng ký kiểm định “tính nguy hiểm cháy” đối với vật liệu đó hoặc “giới hạn chịu lửa” của kết cấu sử dụng vật liệu đó. Thành phần hồ sơ đề nghị kiểm định được quy định tại Điểm a Khoản 4 Điều 18 Thông tư 66/2014/TT-BCA ngày 16/12/2014 Quy định chi tiết thi hành một số điều của Nghị định số 79/2014/NĐ-CP ngày 31/7/2014 quy định chi tiết thi hành một số điều của Luật phòng cháy và chữa cháy và Luật sửa đổi, bổ sung một số điều của luật phòng cháy và chữa cháy, cụ thể bao gồm:- Đơn đề nghị kiểm định phương tiện (mẫu số PC17 ban hành kèm theo Thông tư số 66/2014/TT-BCA ngày 16/12/2014 của Bộ Công an);- Chứng nhận xuất xưởng.- Chứng nhận chất lượng.- Các tài liệu kỹ thuật của bông thủy tinh cách nhiệt chống cháy đề nghị kiểm định;</code> | <code>Bông thủy tinh cách nhiệt chống cháy có phải kiểm định không? Thành phần hồ sơ đề nghị kiểm định như thế nào?</code> |
| <code>Thẻ thường trú không có thời hạn nhưng định kỳ 10 năm một lần, người nước ngoài thường trú phải đến nộp hồ sơ tại Phòng Quản lý xuất, nhập cảnh Công an tỉnh, thành phố trực thuộc Trung ương để đề nghị cấp đổi thẻ thường trú.</code> | <code>Thẻ thường trú có thời hạn không?</code> |
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
```json
{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: epoch
- `per_device_train_batch_size`: 2
- `per_device_eval_batch_size`: 2
- `gradient_accumulation_steps`: 2
- `learning_rate`: 2e-05
- `num_train_epochs`: 2
- `lr_scheduler_type`: cosine
- `warmup_ratio`: 0.1
- `fp16`: True
- `tf32`: False
- `load_best_model_at_end`: True
- `optim`: adamw_torch_fused
- `batch_sampler`: no_duplicates
#### All Hyperparameters
<details><summary>Click to expand</summary>
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: epoch
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 2
- `per_device_eval_batch_size`: 2
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 2
- `eval_accumulation_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 2
- `max_steps`: -1
- `lr_scheduler_type`: cosine
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: True
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: False
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch_fused
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `batch_sampler`: no_duplicates
- `multi_dataset_batch_sampler`: proportional
</details>
### Training Logs
<details><summary>Click to expand</summary>
| Epoch | Step | Training Loss | loss | dim_128_cosine_map@100 | dim_256_cosine_map@100 | dim_512_cosine_map@100 | dim_64_cosine_map@100 | dim_768_cosine_map@100 |
|:-------:|:--------:|:-------------:|:----------:|:----------------------:|:----------------------:|:----------------------:|:---------------------:|:----------------------:|
| 0.0039 | 10 | 0.3396 | - | - | - | - | - | - |
| 0.0078 | 20 | 0.6882 | - | - | - | - | - | - |
| 0.0118 | 30 | 0.6307 | - | - | - | - | - | - |
| 0.0157 | 40 | 0.8952 | - | - | - | - | - | - |
| 0.0196 | 50 | 0.2037 | - | - | - | - | - | - |
| 0.0235 | 60 | 0.5459 | - | - | - | - | - | - |
| 0.0275 | 70 | 0.3136 | - | - | - | - | - | - |
| 0.0314 | 80 | 0.7546 | - | - | - | - | - | - |
| 0.0353 | 90 | 0.0148 | - | - | - | - | - | - |
| 0.0392 | 100 | 0.6756 | - | - | - | - | - | - |
| 0.0431 | 110 | 0.8943 | - | - | - | - | - | - |
| 0.0471 | 120 | 0.7474 | - | - | - | - | - | - |
| 0.0510 | 130 | 0.1574 | - | - | - | - | - | - |
| 0.0549 | 140 | 0.5511 | - | - | - | - | - | - |
| 0.0588 | 150 | 0.0372 | - | - | - | - | - | - |
| 0.0627 | 160 | 0.6336 | - | - | - | - | - | - |
| 0.0667 | 170 | 1.132 | - | - | - | - | - | - |
| 0.0706 | 180 | 0.6303 | - | - | - | - | - | - |
| 0.0745 | 190 | 0.1245 | - | - | - | - | - | - |
| 0.0784 | 200 | 0.6711 | - | - | - | - | - | - |
| 0.0824 | 210 | 0.2811 | - | - | - | - | - | - |
| 0.0863 | 220 | 0.522 | - | - | - | - | - | - |
| 0.0902 | 230 | 0.0312 | - | - | - | - | - | - |
| 0.0941 | 240 | 0.5557 | - | - | - | - | - | - |
| 0.0980 | 250 | 0.084 | - | - | - | - | - | - |
| 0.1020 | 260 | 0.3716 | - | - | - | - | - | - |
| 0.1059 | 270 | 0.1187 | - | - | - | - | - | - |
| 0.1098 | 280 | 1.2872 | - | - | - | - | - | - |
| 0.1137 | 290 | 0.0362 | - | - | - | - | - | - |
| 0.1176 | 300 | 0.4163 | - | - | - | - | - | - |
| 0.1216 | 310 | 0.0101 | - | - | - | - | - | - |
| 0.1255 | 320 | 0.5686 | - | - | - | - | - | - |
| 0.1294 | 330 | 0.2448 | - | - | - | - | - | - |
| 0.1333 | 340 | 0.2329 | - | - | - | - | - | - |
| 0.1373 | 350 | 0.3119 | - | - | - | - | - | - |
| 0.1412 | 360 | 0.0167 | - | - | - | - | - | - |
| 0.1451 | 370 | 0.2482 | - | - | - | - | - | - |
| 0.1490 | 380 | 0.0887 | - | - | - | - | - | - |
| 0.1529 | 390 | 0.6644 | - | - | - | - | - | - |
| 0.1569 | 400 | 0.0572 | - | - | - | - | - | - |
| 0.1608 | 410 | 0.6239 | - | - | - | - | - | - |
| 0.1647 | 420 | 0.8892 | - | - | - | - | - | - |
| 0.1686 | 430 | 0.0182 | - | - | - | - | - | - |
| 0.1725 | 440 | 0.072 | - | - | - | - | - | - |
| 0.1765 | 450 | 0.023 | - | - | - | - | - | - |
| 0.1804 | 460 | 0.4117 | - | - | - | - | - | - |
| 0.1843 | 470 | 0.0689 | - | - | - | - | - | - |
| 0.1882 | 480 | 0.1337 | - | - | - | - | - | - |
| 0.1922 | 490 | 0.2742 | - | - | - | - | - | - |
| 0.1961 | 500 | 0.0038 | - | - | - | - | - | - |
| 0.2 | 510 | 0.4994 | - | - | - | - | - | - |
| 0.2039 | 520 | 0.0226 | - | - | - | - | - | - |
| 0.2078 | 530 | 0.0865 | - | - | - | - | - | - |
| 0.2118 | 540 | 0.0386 | - | - | - | - | - | - |
| 0.2157 | 550 | 0.0836 | - | - | - | - | - | - |
| 0.2196 | 560 | 0.4394 | - | - | - | - | - | - |
| 0.2235 | 570 | 0.2745 | - | - | - | - | - | - |
| 0.2275 | 580 | 0.0046 | - | - | - | - | - | - |
| 0.2314 | 590 | 0.0433 | - | - | - | - | - | - |
| 0.2353 | 600 | 0.2767 | - | - | - | - | - | - |
| 0.2392 | 610 | 0.8611 | - | - | - | - | - | - |
| 0.2431 | 620 | 0.0029 | - | - | - | - | - | - |
| 0.2471 | 630 | 0.1992 | - | - | - | - | - | - |
| 0.2510 | 640 | 0.116 | - | - | - | - | - | - |
| 0.2549 | 650 | 0.4985 | - | - | - | - | - | - |
| 0.2588 | 660 | 0.3053 | - | - | - | - | - | - |
| 0.2627 | 670 | 0.0084 | - | - | - | - | - | - |
| 0.2667 | 680 | 0.0156 | - | - | - | - | - | - |
| 0.2706 | 690 | 0.7467 | - | - | - | - | - | - |
| 0.2745 | 700 | 0.006 | - | - | - | - | - | - |
| 0.2784 | 710 | 0.0607 | - | - | - | - | - | - |
| 0.2824 | 720 | 0.0031 | - | - | - | - | - | - |
| 0.2863 | 730 | 0.2955 | - | - | - | - | - | - |
| 0.2902 | 740 | 0.2597 | - | - | - | - | - | - |
| 0.2941 | 750 | 0.0021 | - | - | - | - | - | - |
| 0.2980 | 760 | 0.0116 | - | - | - | - | - | - |
| 0.3020 | 770 | 0.3005 | - | - | - | - | - | - |
| 0.3059 | 780 | 0.3142 | - | - | - | - | - | - |
| 0.3098 | 790 | 0.0363 | - | - | - | - | - | - |
| 0.3137 | 800 | 0.0263 | - | - | - | - | - | - |
| 0.3176 | 810 | 0.0832 | - | - | - | - | - | - |
| 0.3216 | 820 | 0.0004 | - | - | - | - | - | - |
| 0.3255 | 830 | 0.0391 | - | - | - | - | - | - |
| 0.3294 | 840 | 0.4722 | - | - | - | - | - | - |
| 0.3333 | 850 | 0.0054 | - | - | - | - | - | - |
| 0.3373 | 860 | 0.1622 | - | - | - | - | - | - |
| 0.3412 | 870 | 0.0904 | - | - | - | - | - | - |
| 0.3451 | 880 | 0.1727 | - | - | - | - | - | - |
| 0.3490 | 890 | 0.0352 | - | - | - | - | - | - |
| 0.3529 | 900 | 0.0074 | - | - | - | - | - | - |
| 0.3569 | 910 | 0.054 | - | - | - | - | - | - |
| 0.3608 | 920 | 0.0922 | - | - | - | - | - | - |
| 0.3647 | 930 | 0.1067 | - | - | - | - | - | - |
| 0.3686 | 940 | 0.0683 | - | - | - | - | - | - |
| 0.3725 | 950 | 0.4656 | - | - | - | - | - | - |
| 0.3765 | 960 | 0.038 | - | - | - | - | - | - |
| 0.3804 | 970 | 0.1312 | - | - | - | - | - | - |
| 0.3843 | 980 | 0.2714 | - | - | - | - | - | - |
| 0.3882 | 990 | 0.0197 | - | - | - | - | - | - |
| 0.3922 | 1000 | 0.21 | - | - | - | - | - | - |
| 0.3961 | 1010 | 0.0871 | - | - | - | - | - | - |
| 0.4 | 1020 | 0.3741 | - | - | - | - | - | - |
| 0.4039 | 1030 | 0.0181 | - | - | - | - | - | - |
| 0.4078 | 1040 | 0.0191 | - | - | - | - | - | - |
| 0.4118 | 1050 | 0.7567 | - | - | - | - | - | - |
| 0.4157 | 1060 | 0.159 | - | - | - | - | - | - |
| 0.4196 | 1070 | 0.1752 | - | - | - | - | - | - |
| 0.4235 | 1080 | 0.0191 | - | - | - | - | - | - |
| 0.4275 | 1090 | 0.0328 | - | - | - | - | - | - |
| 0.4314 | 1100 | 0.2144 | - | - | - | - | - | - |
| 0.4353 | 1110 | 0.0268 | - | - | - | - | - | - |
| 0.4392 | 1120 | 0.3813 | - | - | - | - | - | - |
| 0.4431 | 1130 | 0.4766 | - | - | - | - | - | - |
| 0.4471 | 1140 | 0.0663 | - | - | - | - | - | - |
| 0.4510 | 1150 | 0.0144 | - | - | - | - | - | - |
| 0.4549 | 1160 | 0.0759 | - | - | - | - | - | - |
| 0.4588 | 1170 | 0.2779 | - | - | - | - | - | - |
| 0.4627 | 1180 | 0.2943 | - | - | - | - | - | - |
| 0.4667 | 1190 | 0.0017 | - | - | - | - | - | - |
| 0.4706 | 1200 | 0.0184 | - | - | - | - | - | - |
| 0.4745 | 1210 | 0.4471 | - | - | - | - | - | - |
| 0.4784 | 1220 | 0.0798 | - | - | - | - | - | - |
| 0.4824 | 1230 | 0.2868 | - | - | - | - | - | - |
| 0.4863 | 1240 | 0.01 | - | - | - | - | - | - |
| 0.4902 | 1250 | 0.0346 | - | - | - | - | - | - |
| 0.4941 | 1260 | 0.2673 | - | - | - | - | - | - |
| 0.4980 | 1270 | 0.3065 | - | - | - | - | - | - |
| 0.5020 | 1280 | 0.0683 | - | - | - | - | - | - |
| 0.5059 | 1290 | 0.2923 | - | - | - | - | - | - |
| 0.5098 | 1300 | 0.3592 | - | - | - | - | - | - |
| 0.5137 | 1310 | 0.2563 | - | - | - | - | - | - |
| 0.5176 | 1320 | 0.0315 | - | - | - | - | - | - |
| 0.5216 | 1330 | 0.0049 | - | - | - | - | - | - |
| 0.5255 | 1340 | 0.0766 | - | - | - | - | - | - |
| 0.5294 | 1350 | 0.0143 | - | - | - | - | - | - |
| 0.5333 | 1360 | 0.013 | - | - | - | - | - | - |
| 0.5373 | 1370 | 0.0037 | - | - | - | - | - | - |
| 0.5412 | 1380 | 0.0224 | - | - | - | - | - | - |
| 0.5451 | 1390 | 0.2682 | - | - | - | - | - | - |
| 0.5490 | 1400 | 0.0013 | - | - | - | - | - | - |
| 0.5529 | 1410 | 0.0859 | - | - | - | - | - | - |
| 0.5569 | 1420 | 0.0382 | - | - | - | - | - | - |
| 0.5608 | 1430 | 0.0425 | - | - | - | - | - | - |
| 0.5647 | 1440 | 0.0257 | - | - | - | - | - | - |
| 0.5686 | 1450 | 0.0545 | - | - | - | - | - | - |
| 0.5725 | 1460 | 0.0167 | - | - | - | - | - | - |
| 0.5765 | 1470 | 0.0283 | - | - | - | - | - | - |
| 0.5804 | 1480 | 0.0588 | - | - | - | - | - | - |
| 0.5843 | 1490 | 0.0161 | - | - | - | - | - | - |
| 0.5882 | 1500 | 0.0633 | - | - | - | - | - | - |
| 0.5922 | 1510 | 0.4425 | - | - | - | - | - | - |
| 0.5961 | 1520 | 0.0391 | - | - | - | - | - | - |
| 0.6 | 1530 | 0.0007 | - | - | - | - | - | - |
| 0.6039 | 1540 | 0.6641 | - | - | - | - | - | - |
| 0.6078 | 1550 | 0.2285 | - | - | - | - | - | - |
| 0.6118 | 1560 | 0.0185 | - | - | - | - | - | - |
| 0.6157 | 1570 | 0.0144 | - | - | - | - | - | - |
| 0.6196 | 1580 | 0.0626 | - | - | - | - | - | - |
| 0.6235 | 1590 | 0.0358 | - | - | - | - | - | - |
| 0.6275 | 1600 | 0.0019 | - | - | - | - | - | - |
| 0.6314 | 1610 | 0.0129 | - | - | - | - | - | - |
| 0.6353 | 1620 | 0.0386 | - | - | - | - | - | - |
| 0.6392 | 1630 | 0.3626 | - | - | - | - | - | - |
| 0.6431 | 1640 | 0.1427 | - | - | - | - | - | - |
| 0.6471 | 1650 | 0.1781 | - | - | - | - | - | - |
| 0.6510 | 1660 | 0.048 | - | - | - | - | - | - |
| 0.6549 | 1670 | 0.0172 | - | - | - | - | - | - |
| 0.6588 | 1680 | 0.0079 | - | - | - | - | - | - |
| 0.6627 | 1690 | 0.0002 | - | - | - | - | - | - |
| 0.6667 | 1700 | 0.3644 | - | - | - | - | - | - |
| 0.6706 | 1710 | 0.627 | - | - | - | - | - | - |
| 0.6745 | 1720 | 0.0439 | - | - | - | - | - | - |
| 0.6784 | 1730 | 0.0116 | - | - | - | - | - | - |
| 0.6824 | 1740 | 0.3933 | - | - | - | - | - | - |
| 0.6863 | 1750 | 0.7118 | - | - | - | - | - | - |
| 0.6902 | 1760 | 0.1746 | - | - | - | - | - | - |
| 0.6941 | 1770 | 0.1272 | - | - | - | - | - | - |
| 0.6980 | 1780 | 0.3281 | - | - | - | - | - | - |
| 0.7020 | 1790 | 0.1582 | - | - | - | - | - | - |
| 0.7059 | 1800 | 0.2731 | - | - | - | - | - | - |
| 0.7098 | 1810 | 0.3034 | - | - | - | - | - | - |
| 0.7137 | 1820 | 0.0662 | - | - | - | - | - | - |
| 0.7176 | 1830 | 0.0078 | - | - | - | - | - | - |
| 0.7216 | 1840 | 0.0035 | - | - | - | - | - | - |
| 0.7255 | 1850 | 1.0808 | - | - | - | - | - | - |
| 0.7294 | 1860 | 0.0029 | - | - | - | - | - | - |
| 0.7333 | 1870 | 0.0049 | - | - | - | - | - | - |
| 0.7373 | 1880 | 0.0572 | - | - | - | - | - | - |
| 0.7412 | 1890 | 0.1218 | - | - | - | - | - | - |
| 0.7451 | 1900 | 0.0001 | - | - | - | - | - | - |
| 0.7490 | 1910 | 0.0529 | - | - | - | - | - | - |
| 0.7529 | 1920 | 0.009 | - | - | - | - | - | - |
| 0.7569 | 1930 | 0.3819 | - | - | - | - | - | - |
| 0.7608 | 1940 | 0.0084 | - | - | - | - | - | - |
| 0.7647 | 1950 | 0.0242 | - | - | - | - | - | - |
| 0.7686 | 1960 | 0.0056 | - | - | - | - | - | - |
| 0.7725 | 1970 | 0.0162 | - | - | - | - | - | - |
| 0.7765 | 1980 | 0.0431 | - | - | - | - | - | - |
| 0.7804 | 1990 | 0.0188 | - | - | - | - | - | - |
| 0.7843 | 2000 | 0.0058 | - | - | - | - | - | - |
| 0.7882 | 2010 | 0.425 | - | - | - | - | - | - |
| 0.7922 | 2020 | 0.009 | - | - | - | - | - | - |
| 0.7961 | 2030 | 0.619 | - | - | - | - | - | - |
| 0.8 | 2040 | 0.7128 | - | - | - | - | - | - |
| 0.8039 | 2050 | 0.0022 | - | - | - | - | - | - |
| 0.8078 | 2060 | 0.0095 | - | - | - | - | - | - |
| 0.8118 | 2070 | 0.0123 | - | - | - | - | - | - |
| 0.8157 | 2080 | 0.0013 | - | - | - | - | - | - |
| 0.8196 | 2090 | 0.1557 | - | - | - | - | - | - |
| 0.8235 | 2100 | 0.0629 | - | - | - | - | - | - |
| 0.8275 | 2110 | 0.0033 | - | - | - | - | - | - |
| 0.8314 | 2120 | 0.037 | - | - | - | - | - | - |
| 0.8353 | 2130 | 0.011 | - | - | - | - | - | - |
| 0.8392 | 2140 | 0.6761 | - | - | - | - | - | - |
| 0.8431 | 2150 | 0.0051 | - | - | - | - | - | - |
| 0.8471 | 2160 | 0.0201 | - | - | - | - | - | - |
| 0.8510 | 2170 | 0.1053 | - | - | - | - | - | - |
| 0.8549 | 2180 | 0.0054 | - | - | - | - | - | - |
| 0.8588 | 2190 | 0.1033 | - | - | - | - | - | - |
| 0.8627 | 2200 | 0.0436 | - | - | - | - | - | - |
| 0.8667 | 2210 | 0.0386 | - | - | - | - | - | - |
| 0.8706 | 2220 | 0.1732 | - | - | - | - | - | - |
| 0.8745 | 2230 | 0.2371 | - | - | - | - | - | - |
| 0.8784 | 2240 | 0.026 | - | - | - | - | - | - |
| 0.8824 | 2250 | 0.0084 | - | - | - | - | - | - |
| 0.8863 | 2260 | 0.2233 | - | - | - | - | - | - |
| 0.8902 | 2270 | 0.0068 | - | - | - | - | - | - |
| 0.8941 | 2280 | 0.266 | - | - | - | - | - | - |
| 0.8980 | 2290 | 0.0061 | - | - | - | - | - | - |
| 0.9020 | 2300 | 0.092 | - | - | - | - | - | - |
| 0.9059 | 2310 | 0.4521 | - | - | - | - | - | - |
| 0.9098 | 2320 | 0.1647 | - | - | - | - | - | - |
| 0.9137 | 2330 | 0.1101 | - | - | - | - | - | - |
| 0.9176 | 2340 | 0.0259 | - | - | - | - | - | - |
| 0.9216 | 2350 | 0.2363 | - | - | - | - | - | - |
| 0.9255 | 2360 | 0.358 | - | - | - | - | - | - |
| 0.9294 | 2370 | 0.0037 | - | - | - | - | - | - |
| 0.9333 | 2380 | 0.2897 | - | - | - | - | - | - |
| 0.9373 | 2390 | 0.2985 | - | - | - | - | - | - |
| 0.9412 | 2400 | 0.0141 | - | - | - | - | - | - |
| 0.9451 | 2410 | 0.0233 | - | - | - | - | - | - |
| 0.9490 | 2420 | 0.0672 | - | - | - | - | - | - |
| 0.9529 | 2430 | 0.0003 | - | - | - | - | - | - |
| 0.9569 | 2440 | 0.0011 | - | - | - | - | - | - |
| 0.9608 | 2450 | 0.0609 | - | - | - | - | - | - |
| 0.9647 | 2460 | 0.0468 | - | - | - | - | - | - |
| 0.9686 | 2470 | 0.0005 | - | - | - | - | - | - |
| 0.9725 | 2480 | 0.0069 | - | - | - | - | - | - |
| 0.9765 | 2490 | 0.0561 | - | - | - | - | - | - |
| 0.9804 | 2500 | 0.2674 | - | - | - | - | - | - |
| 0.9843 | 2510 | 0.2024 | - | - | - | - | - | - |
| 0.9882 | 2520 | 0.0221 | - | - | - | - | - | - |
| 0.9922 | 2530 | 0.0171 | - | - | - | - | - | - |
| 0.9961 | 2540 | 0.1319 | - | - | - | - | - | - |
| 1.0 | 2550 | 0.0078 | 0.0739 | 0.5708 | 0.5941 | 0.6055 | 0.5373 | 0.6064 |
| 1.0039 | 2560 | 0.0125 | - | - | - | - | - | - |
| 1.0078 | 2570 | 0.2353 | - | - | - | - | - | - |
| 1.0118 | 2580 | 0.0398 | - | - | - | - | - | - |
| 1.0157 | 2590 | 0.0303 | - | - | - | - | - | - |
| 1.0196 | 2600 | 0.0168 | - | - | - | - | - | - |
| 1.0235 | 2610 | 0.0006 | - | - | - | - | - | - |
| 1.0275 | 2620 | 0.0004 | - | - | - | - | - | - |
| 1.0314 | 2630 | 0.4641 | - | - | - | - | - | - |
| 1.0353 | 2640 | 0.0001 | - | - | - | - | - | - |
| 1.0392 | 2650 | 0.132 | - | - | - | - | - | - |
| 1.0431 | 2660 | 0.001 | - | - | - | - | - | - |
| 1.0471 | 2670 | 0.6171 | - | - | - | - | - | - |
| 1.0510 | 2680 | 0.0305 | - | - | - | - | - | - |
| 1.0549 | 2690 | 0.1392 | - | - | - | - | - | - |
| 1.0588 | 2700 | 0.0348 | - | - | - | - | - | - |
| 1.0627 | 2710 | 0.0339 | - | - | - | - | - | - |
| 1.0667 | 2720 | 0.0065 | - | - | - | - | - | - |
| 1.0706 | 2730 | 0.2032 | - | - | - | - | - | - |
| 1.0745 | 2740 | 0.0001 | - | - | - | - | - | - |
| 1.0784 | 2750 | 0.3332 | - | - | - | - | - | - |
| 1.0824 | 2760 | 0.0308 | - | - | - | - | - | - |
| 1.0863 | 2770 | 0.3364 | - | - | - | - | - | - |
| 1.0902 | 2780 | 0.0002 | - | - | - | - | - | - |
| 1.0941 | 2790 | 0.0006 | - | - | - | - | - | - |
| 1.0980 | 2800 | 0.0001 | - | - | - | - | - | - |
| 1.1020 | 2810 | 0.0006 | - | - | - | - | - | - |
| 1.1059 | 2820 | 0.01 | - | - | - | - | - | - |
| 1.1098 | 2830 | 0.5723 | - | - | - | - | - | - |
| 1.1137 | 2840 | 0.0029 | - | - | - | - | - | - |
| 1.1176 | 2850 | 0.0087 | - | - | - | - | - | - |
| 1.1216 | 2860 | 0.0003 | - | - | - | - | - | - |
| 1.1255 | 2870 | 0.043 | - | - | - | - | - | - |
| 1.1294 | 2880 | 0.0006 | - | - | - | - | - | - |
| 1.1333 | 2890 | 0.0155 | - | - | - | - | - | - |
| 1.1373 | 2900 | 0.0081 | - | - | - | - | - | - |
| 1.1412 | 2910 | 0.0001 | - | - | - | - | - | - |
| 1.1451 | 2920 | 0.0303 | - | - | - | - | - | - |
| 1.1490 | 2930 | 0.0045 | - | - | - | - | - | - |
| 1.1529 | 2940 | 0.0006 | - | - | - | - | - | - |
| 1.1569 | 2950 | 0.0006 | - | - | - | - | - | - |
| 1.1608 | 2960 | 0.0434 | - | - | - | - | - | - |
| 1.1647 | 2970 | 0.029 | - | - | - | - | - | - |
| 1.1686 | 2980 | 0.0004 | - | - | - | - | - | - |
| 1.1725 | 2990 | 0.0039 | - | - | - | - | - | - |
| 1.1765 | 3000 | 0.0003 | - | - | - | - | - | - |
| 1.1804 | 3010 | 0.2161 | - | - | - | - | - | - |
| 1.1843 | 3020 | 0.0001 | - | - | - | - | - | - |
| 1.1882 | 3030 | 0.0022 | - | - | - | - | - | - |
| 1.1922 | 3040 | 0.0005 | - | - | - | - | - | - |
| 1.1961 | 3050 | 0.0008 | - | - | - | - | - | - |
| 1.2 | 3060 | 0.0928 | - | - | - | - | - | - |
| 1.2039 | 3070 | 0.0003 | - | - | - | - | - | - |
| 1.2078 | 3080 | 0.0007 | - | - | - | - | - | - |
| 1.2118 | 3090 | 0.0013 | - | - | - | - | - | - |
| 1.2157 | 3100 | 0.0009 | - | - | - | - | - | - |
| 1.2196 | 3110 | 0.0758 | - | - | - | - | - | - |
| 1.2235 | 3120 | 0.0002 | - | - | - | - | - | - |
| 1.2275 | 3130 | 0.0002 | - | - | - | - | - | - |
| 1.2314 | 3140 | 0.0002 | - | - | - | - | - | - |
| 1.2353 | 3150 | 0.0165 | - | - | - | - | - | - |
| 1.2392 | 3160 | 0.0053 | - | - | - | - | - | - |
| 1.2431 | 3170 | 0.0084 | - | - | - | - | - | - |
| 1.2471 | 3180 | 0.0006 | - | - | - | - | - | - |
| 1.2510 | 3190 | 0.0513 | - | - | - | - | - | - |
| 1.2549 | 3200 | 0.0011 | - | - | - | - | - | - |
| 1.2588 | 3210 | 0.0043 | - | - | - | - | - | - |
| 1.2627 | 3220 | 0.0 | - | - | - | - | - | - |
| 1.2667 | 3230 | 0.0006 | - | - | - | - | - | - |
| 1.2706 | 3240 | 0.0012 | - | - | - | - | - | - |
| 1.2745 | 3250 | 0.0025 | - | - | - | - | - | - |
| 1.2784 | 3260 | 0.0003 | - | - | - | - | - | - |
| 1.2824 | 3270 | 0.0003 | - | - | - | - | - | - |
| 1.2863 | 3280 | 0.0033 | - | - | - | - | - | - |
| 1.2902 | 3290 | 0.002 | - | - | - | - | - | - |
| 1.2941 | 3300 | 0.0 | - | - | - | - | - | - |
| 1.2980 | 3310 | 0.004 | - | - | - | - | - | - |
| 1.3020 | 3320 | 0.0002 | - | - | - | - | - | - |
| 1.3059 | 3330 | 0.0071 | - | - | - | - | - | - |
| 1.3098 | 3340 | 0.0001 | - | - | - | - | - | - |
| 1.3137 | 3350 | 0.0006 | - | - | - | - | - | - |
| 1.3176 | 3360 | 0.0012 | - | - | - | - | - | - |
| 1.3216 | 3370 | 0.0 | - | - | - | - | - | - |
| 1.3255 | 3380 | 0.0055 | - | - | - | - | - | - |
| 1.3294 | 3390 | 0.0005 | - | - | - | - | - | - |
| 1.3333 | 3400 | 0.0 | - | - | - | - | - | - |
| 1.3373 | 3410 | 0.0001 | - | - | - | - | - | - |
| 1.3412 | 3420 | 0.001 | - | - | - | - | - | - |
| 1.3451 | 3430 | 0.0033 | - | - | - | - | - | - |
| 1.3490 | 3440 | 0.001 | - | - | - | - | - | - |
| 1.3529 | 3450 | 0.0 | - | - | - | - | - | - |
| 1.3569 | 3460 | 0.0007 | - | - | - | - | - | - |
| 1.3608 | 3470 | 0.0 | - | - | - | - | - | - |
| 1.3647 | 3480 | 0.0024 | - | - | - | - | - | - |
| 1.3686 | 3490 | 0.0001 | - | - | - | - | - | - |
| 1.3725 | 3500 | 0.025 | - | - | - | - | - | - |
| 1.3765 | 3510 | 0.0028 | - | - | - | - | - | - |
| 1.3804 | 3520 | 0.004 | - | - | - | - | - | - |
| 1.3843 | 3530 | 0.0 | - | - | - | - | - | - |
| 1.3882 | 3540 | 0.2503 | - | - | - | - | - | - |
| 1.3922 | 3550 | 0.0004 | - | - | - | - | - | - |
| 1.3961 | 3560 | 0.0001 | - | - | - | - | - | - |
| 1.4 | 3570 | 0.0002 | - | - | - | - | - | - |
| 1.4039 | 3580 | 0.0003 | - | - | - | - | - | - |
| 1.4078 | 3590 | 0.0008 | - | - | - | - | - | - |
| 1.4118 | 3600 | 0.0016 | - | - | - | - | - | - |
| 1.4157 | 3610 | 0.0007 | - | - | - | - | - | - |
| 1.4196 | 3620 | 0.0009 | - | - | - | - | - | - |
| 1.4235 | 3630 | 0.0 | - | - | - | - | - | - |
| 1.4275 | 3640 | 0.0 | - | - | - | - | - | - |
| 1.4314 | 3650 | 0.0001 | - | - | - | - | - | - |
| 1.4353 | 3660 | 0.0002 | - | - | - | - | - | - |
| 1.4392 | 3670 | 0.0005 | - | - | - | - | - | - |
| 1.4431 | 3680 | 0.0003 | - | - | - | - | - | - |
| 1.4471 | 3690 | 0.0003 | - | - | - | - | - | - |
| 1.4510 | 3700 | 0.0011 | - | - | - | - | - | - |
| 1.4549 | 3710 | 0.001 | - | - | - | - | - | - |
| 1.4588 | 3720 | 0.0005 | - | - | - | - | - | - |
| 1.4627 | 3730 | 0.0022 | - | - | - | - | - | - |
| 1.4667 | 3740 | 0.0 | - | - | - | - | - | - |
| 1.4706 | 3750 | 0.0007 | - | - | - | - | - | - |
| 1.4745 | 3760 | 0.0016 | - | - | - | - | - | - |
| 1.4784 | 3770 | 0.0086 | - | - | - | - | - | - |
| 1.4824 | 3780 | 0.0824 | - | - | - | - | - | - |
| 1.4863 | 3790 | 0.0001 | - | - | - | - | - | - |
| 1.4902 | 3800 | 0.0084 | - | - | - | - | - | - |
| 1.4941 | 3810 | 0.0001 | - | - | - | - | - | - |
| 1.4980 | 3820 | 0.0037 | - | - | - | - | - | - |
| 1.5020 | 3830 | 0.0 | - | - | - | - | - | - |
| 1.5059 | 3840 | 0.0 | - | - | - | - | - | - |
| 1.5098 | 3850 | 0.1319 | - | - | - | - | - | - |
| 1.5137 | 3860 | 0.0013 | - | - | - | - | - | - |
| 1.5176 | 3870 | 0.0004 | - | - | - | - | - | - |
| 1.5216 | 3880 | 0.0001 | - | - | - | - | - | - |
| 1.5255 | 3890 | 0.0071 | - | - | - | - | - | - |
| 1.5294 | 3900 | 0.0013 | - | - | - | - | - | - |
| 1.5333 | 3910 | 0.0001 | - | - | - | - | - | - |
| 1.5373 | 3920 | 0.0002 | - | - | - | - | - | - |
| 1.5412 | 3930 | 0.0 | - | - | - | - | - | - |
| 1.5451 | 3940 | 0.0038 | - | - | - | - | - | - |
| 1.5490 | 3950 | 0.0 | - | - | - | - | - | - |
| 1.5529 | 3960 | 0.0023 | - | - | - | - | - | - |
| 1.5569 | 3970 | 0.0005 | - | - | - | - | - | - |
| 1.5608 | 3980 | 0.0037 | - | - | - | - | - | - |
| 1.5647 | 3990 | 0.0001 | - | - | - | - | - | - |
| 1.5686 | 4000 | 0.0004 | - | - | - | - | - | - |
| 1.5725 | 4010 | 0.0009 | - | - | - | - | - | - |
| 1.5765 | 4020 | 0.0468 | - | - | - | - | - | - |
| 1.5804 | 4030 | 0.013 | - | - | - | - | - | - |
| 1.5843 | 4040 | 0.0015 | - | - | - | - | - | - |
| 1.5882 | 4050 | 0.0 | - | - | - | - | - | - |
| 1.5922 | 4060 | 0.0012 | - | - | - | - | - | - |
| 1.5961 | 4070 | 0.0 | - | - | - | - | - | - |
| 1.6 | 4080 | 0.0 | - | - | - | - | - | - |
| 1.6039 | 4090 | 0.0012 | - | - | - | - | - | - |
| 1.6078 | 4100 | 0.1019 | - | - | - | - | - | - |
| 1.6118 | 4110 | 0.0004 | - | - | - | - | - | - |
| 1.6157 | 4120 | 0.0006 | - | - | - | - | - | - |
| 1.6196 | 4130 | 0.0 | - | - | - | - | - | - |
| 1.6235 | 4140 | 0.0008 | - | - | - | - | - | - |
| 1.6275 | 4150 | 0.0 | - | - | - | - | - | - |
| 1.6314 | 4160 | 0.0 | - | - | - | - | - | - |
| 1.6353 | 4170 | 0.0004 | - | - | - | - | - | - |
| 1.6392 | 4180 | 0.0028 | - | - | - | - | - | - |
| 1.6431 | 4190 | 0.0007 | - | - | - | - | - | - |
| 1.6471 | 4200 | 0.0001 | - | - | - | - | - | - |
| 1.6510 | 4210 | 0.0007 | - | - | - | - | - | - |
| 1.6549 | 4220 | 0.0 | - | - | - | - | - | - |
| 1.6588 | 4230 | 0.0001 | - | - | - | - | - | - |
| 1.6627 | 4240 | 0.0002 | - | - | - | - | - | - |
| 1.6667 | 4250 | 0.0123 | - | - | - | - | - | - |
| 1.6706 | 4260 | 0.0077 | - | - | - | - | - | - |
| 1.6745 | 4270 | 0.0001 | - | - | - | - | - | - |
| 1.6784 | 4280 | 0.0004 | - | - | - | - | - | - |
| 1.6824 | 4290 | 0.0169 | - | - | - | - | - | - |
| 1.6863 | 4300 | 0.0001 | - | - | - | - | - | - |
| 1.6902 | 4310 | 0.0014 | - | - | - | - | - | - |
| 1.6941 | 4320 | 0.0001 | - | - | - | - | - | - |
| 1.6980 | 4330 | 0.001 | - | - | - | - | - | - |
| 1.7020 | 4340 | 0.0017 | - | - | - | - | - | - |
| 1.7059 | 4350 | 0.001 | - | - | - | - | - | - |
| 1.7098 | 4360 | 0.0003 | - | - | - | - | - | - |
| 1.7137 | 4370 | 0.0001 | - | - | - | - | - | - |
| 1.7176 | 4380 | 0.0017 | - | - | - | - | - | - |
| 1.7216 | 4390 | 0.0001 | - | - | - | - | - | - |
| 1.7255 | 4400 | 0.0008 | - | - | - | - | - | - |
| 1.7294 | 4410 | 0.0003 | - | - | - | - | - | - |
| 1.7333 | 4420 | 0.0003 | - | - | - | - | - | - |
| 1.7373 | 4430 | 0.0 | - | - | - | - | - | - |
| 1.7412 | 4440 | 0.0005 | - | - | - | - | - | - |
| 1.7451 | 4450 | 0.0 | - | - | - | - | - | - |
| 1.7490 | 4460 | 0.0057 | - | - | - | - | - | - |
| 1.7529 | 4470 | 0.0001 | - | - | - | - | - | - |
| 1.7569 | 4480 | 0.0003 | - | - | - | - | - | - |
| 1.7608 | 4490 | 0.0 | - | - | - | - | - | - |
| 1.7647 | 4500 | 0.0021 | - | - | - | - | - | - |
| 1.7686 | 4510 | 0.0002 | - | - | - | - | - | - |
| 1.7725 | 4520 | 0.0016 | - | - | - | - | - | - |
| 1.7765 | 4530 | 0.0003 | - | - | - | - | - | - |
| 1.7804 | 4540 | 0.0001 | - | - | - | - | - | - |
| 1.7843 | 4550 | 0.0002 | - | - | - | - | - | - |
| 1.7882 | 4560 | 0.0007 | - | - | - | - | - | - |
| 1.7922 | 4570 | 0.0001 | - | - | - | - | - | - |
| 1.7961 | 4580 | 0.0736 | - | - | - | - | - | - |
| 1.8 | 4590 | 0.0341 | - | - | - | - | - | - |
| 1.8039 | 4600 | 0.0 | - | - | - | - | - | - |
| 1.8078 | 4610 | 0.0002 | - | - | - | - | - | - |
| 1.8118 | 4620 | 0.0001 | - | - | - | - | - | - |
| 1.8157 | 4630 | 0.0001 | - | - | - | - | - | - |
| 1.8196 | 4640 | 0.001 | - | - | - | - | - | - |
| 1.8235 | 4650 | 0.0018 | - | - | - | - | - | - |
| 1.8275 | 4660 | 0.0 | - | - | - | - | - | - |
| 1.8314 | 4670 | 0.0003 | - | - | - | - | - | - |
| 1.8353 | 4680 | 0.0004 | - | - | - | - | - | - |
| 1.8392 | 4690 | 0.0002 | - | - | - | - | - | - |
| 1.8431 | 4700 | 0.0001 | - | - | - | - | - | - |
| 1.8471 | 4710 | 0.0 | - | - | - | - | - | - |
| 1.8510 | 4720 | 0.0 | - | - | - | - | - | - |
| 1.8549 | 4730 | 0.0001 | - | - | - | - | - | - |
| 1.8588 | 4740 | 0.0034 | - | - | - | - | - | - |
| 1.8627 | 4750 | 0.0 | - | - | - | - | - | - |
| 1.8667 | 4760 | 0.0001 | - | - | - | - | - | - |
| 1.8706 | 4770 | 0.0042 | - | - | - | - | - | - |
| 1.8745 | 4780 | 0.0019 | - | - | - | - | - | - |
| 1.8784 | 4790 | 0.0008 | - | - | - | - | - | - |
| 1.8824 | 4800 | 0.0003 | - | - | - | - | - | - |
| 1.8863 | 4810 | 0.0002 | - | - | - | - | - | - |
| 1.8902 | 4820 | 0.0 | - | - | - | - | - | - |
| 1.8941 | 4830 | 0.0914 | - | - | - | - | - | - |
| 1.8980 | 4840 | 0.0 | - | - | - | - | - | - |
| 1.9020 | 4850 | 0.0035 | - | - | - | - | - | - |
| 1.9059 | 4860 | 0.0018 | - | - | - | - | - | - |
| 1.9098 | 4870 | 0.0001 | - | - | - | - | - | - |
| 1.9137 | 4880 | 0.0003 | - | - | - | - | - | - |
| 1.9176 | 4890 | 0.0005 | - | - | - | - | - | - |
| 1.9216 | 4900 | 0.018 | - | - | - | - | - | - |
| 1.9255 | 4910 | 0.0524 | - | - | - | - | - | - |
| 1.9294 | 4920 | 0.0001 | - | - | - | - | - | - |
| 1.9333 | 4930 | 0.0107 | - | - | - | - | - | - |
| 1.9373 | 4940 | 0.0895 | - | - | - | - | - | - |
| 1.9412 | 4950 | 0.0002 | - | - | - | - | - | - |
| 1.9451 | 4960 | 0.0 | - | - | - | - | - | - |
| 1.9490 | 4970 | 0.0002 | - | - | - | - | - | - |
| 1.9529 | 4980 | 0.0001 | - | - | - | - | - | - |
| 1.9569 | 4990 | 0.0 | - | - | - | - | - | - |
| 1.9608 | 5000 | 0.0001 | - | - | - | - | - | - |
| 1.9647 | 5010 | 0.0101 | - | - | - | - | - | - |
| 1.9686 | 5020 | 0.0 | - | - | - | - | - | - |
| 1.9725 | 5030 | 0.0001 | - | - | - | - | - | - |
| 1.9765 | 5040 | 0.0001 | - | - | - | - | - | - |
| 1.9804 | 5050 | 0.3165 | - | - | - | - | - | - |
| 1.9843 | 5060 | 0.0068 | - | - | - | - | - | - |
| 1.9882 | 5070 | 0.0003 | - | - | - | - | - | - |
| 1.9922 | 5080 | 0.0001 | - | - | - | - | - | - |
| 1.9961 | 5090 | 0.0022 | - | - | - | - | - | - |
| **2.0** | **5100** | **0.0** | **0.0734** | **0.5999** | **0.6171** | **0.6201** | **0.5766** | **0.6234** |
* The bold row denotes the saved checkpoint.
</details>
### Framework Versions
- Python: 3.10.13
- Sentence Transformers: 3.0.1
- Transformers: 4.41.2
- PyTorch: 2.1.2
- Accelerate: 0.29.3
- Datasets: 2.19.1
- Tokenizers: 0.19.1
## Citation
### BibTeX
#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
```
#### MatryoshkaLoss
```bibtex
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
```
#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
```
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->