diff --git "a/README.md" "b/README.md" new file mode 100644--- /dev/null +++ "b/README.md" @@ -0,0 +1,1398 @@ +--- +language: [] +library_name: sentence-transformers +tags: +- sentence-transformers +- sentence-similarity +- feature-extraction +- generated_from_trainer +- dataset_size:10200 +- loss:MatryoshkaLoss +- loss:MultipleNegativesRankingLoss +base_model: bkai-foundation-models/vietnamese-bi-encoder +datasets: [] +metrics: +- cosine_accuracy@1 +- cosine_accuracy@3 +- cosine_accuracy@5 +- cosine_accuracy@10 +- cosine_precision@1 +- cosine_precision@3 +- cosine_precision@5 +- cosine_precision@10 +- cosine_recall@1 +- cosine_recall@3 +- cosine_recall@5 +- cosine_recall@10 +- cosine_ndcg@10 +- cosine_mrr@10 +- cosine_map@100 +widget: +- source_sentence:  1.500.000 (một triệu năm trăm nghìn) đồng/Giấy phép (theo quy + định tại Khoản b Điều 4 Thông tư số 143/2016/TT-BTC ngày 26/9/2016 của Bộ Tài + chính, có hiệu lực thi hành kể từ ngày 01/01/2017). + sentences: + - 'Phí lệ phí của Thủ tục: Thủ tục Cấp lại Giấy phép thành lập Văn phòng đại diện + của thương nhân nước ngoài tại Việt Nam là bao nhiêu ?' + - Trường hợp đã hết thời hiệu yêu cầu thi hành án, đề nghị khôi phục thời hiệu thi + hành án cần những thủ tục gì? + - Người điều khiển, người đi trên phương tiện, phương tiện xuất cảnh, nhập cảnh + qua cửa khẩu biên giới đất liền phải thực hiện thủ tục biên phòng điện tử như + thế nào? +- source_sentence: " Bước 1: Tổ chức sử dụng đất chuẩn bị hồ sơ theo quy định của\ + \ pháp luật;\n Bước 2: Tổ chức sử dụng đất nộp hồ sơ tại Bộ phận hành chính công\ + \ về Tài nguyên và Môi trường của Ban Quản lý Khu kinh tế Quảng Ninh tại Trung\ + \ tâm Phục vụ Hành chính công tỉnh;\nBước 3: Cán bộ Bộ phận hành chính công về\ + \ Tài nguyên và Môi trường kiểm tra hồ sơ và trao giấy tiếp nhận hồ sơ cho nhà\ + \ đầu tư;\nBước 4: Tổ chức sử dụng đất căn cứ thời gian ghi trên giấy tiếp nhận\ + \ hồ sơ đến Trung tâm Phục vụ hành chính công nhận kết quả." + sentences: + - Khiếu nại quyết định kỷ luật cán bộ, công chức được thực hiện trong trường hợp + nào? + - 'Trình tự thực hiện của Thủ tục: Thủ tục miễn, giảm tiền thuê đất trong Khu kinh + tế (trừ Khu kinh tế Vân Đồn) là gì ?' + - Khi nào người giải quyết tố cáo tạm đình chỉ việc giải quyết tố cáo? +- source_sentence: 'Theo quy định tại Nghị định số 91/2017/NĐ-CP ngày 31/7/2017 của + Chính phủ quy định chi tiết thi hành Luật sửa đổi, bổ sung một số điều của Luật + thi đua, khen thưởng năm 2013: + + Trong thời hạn 20 ngày ngày làm việc (30 ngày làm việc đối với trường + hợp phải lấy ý kiến hiệp y) kể từ ngày nhận đủ hồ sơ theo quy định, + Trưởng ban Ban Thi đua - Khen thưởng Trung ương trình Thủ tướng Chính phủ + xem xét, quyết định; + + Sau khi nhận được quyết định khen thưởng của Thủ tướng Chính phủ, trong thời hạn + 10 ngày làm việc, Ban Thi đua - Khen thưởng Trung ương sao quyết định và thông + báo kết quả khen thưởng cho bộ, ban, ngành, tỉnh, đoàn thể trung ương trình khen + thưởng; + + Sau khi nhận được quyết định khen thưởng của cấp có thẩm quyền, trong thời hạn + 10 ngày làm việc, cơ quan trình khen thưởng thông báo và gửi kết quả khen thưởng + cho các trường hợp được khen thưởng; + + Đối với các trường hợp không đủ điều kiện, tiêu chuẩn, hồ sơ theo quy định, trong + thời hạn 10ngày làm việc kể từ ngày nhận đủ hồ sơ theo quy định, Ban Thi đua - + Khen thưởng Trung ương thông báo bằng văn bản cho bộ, ban, ngành, tỉnh, đoàn thể + trung ương trình khen thưởng.' + sentences: + - Yêu cầu về xác nhận quá trình thực hành trong cấp chứng chỉ hành nghề khám chữa + bệnh là gì? + - Đề nghị cho biết thời hạn thực hiện thủ tục tặng thưởng "Cờ thi đua của Chính + phủ" về thành tích thi đua theo đợt hoặc chuyên đề + -  Vợ chồng tôi năm nay được 38 tuổi, nghề nghiệp là nông dân. Vợ chồng tôi muốn + tham gia BHXH tự nguyện để khi về già có lương hưu. Vậy vợ chồng tôi có được đóng + BHXH không?  +- source_sentence: Theo quy định tại điểm c Khoản 1 Điều 211 Luật Doanh nghiệp, trường + hợp doanh nghiệp ngừng hoạt động kinh doanh 01 năm mà không thông báo với cơ quan + đăng ký kinh doanh và cơ quan thuế thì doanh nghiệp thuộc trường hợp bị thu hồi + Giấy chứng nhận đăng ký doanh nghiệp.- Trình tự, thủ tục thu hồi Giấy chứng nhận + đăng ký doanh nghiệp thực hiện theo quy định tại Khoản 3 Điều 63 Nghị định số + 78/2015/NĐ-CP được sửa đổi, bổ sung tại Khoản 20 Điều 1 Nghị định số 108/2018/NĐ-CP + sửa đổi, bổ sung một số điều của Nghị định số 78/2015/NĐ-CP. Theo đó, Phòng Đăng + ký kinh doanh thông báo bằng văn bản về hành vi vi phạm và yêu cầu người đại diện + theo pháp luật của doanh nghiệp đến trụ sở của Phòng để giải trình. Sau 10 ngày + làm việc, kể từ ngày kết thúc thời hạn hẹn trong thông báo mà người được yêu cầu + không đến hoặc nội dung giải trình không được chấp thuận thì Phòng Đăng ký kinh + doanh ra quyết định thu hồi Giấy chứng nhận đăng ký doanh nghiệp.- Như vậy, theo + quy định nêu trên việc công ty ngừng hoạt động kinh doanh 01 năm mà không thông + báo với cơ quan đăng ký kinh doanh và cơ quan thuế là vi phạm quy định pháp luật + và thuộc một trong các trường hợp bị thu hồi Giấy chứng nhận đăng ký doanh nghiệp. + sentences: + - Thủ tục và hồ sơ xin phép chuyển đổi mục đích sử dụng, di dời, tháo dỡ? + - Thời gian đăng ký hoạt động của Chi nhánh của Tổ chức trọng tài nước ngoài tại + Việt Nam được quy định như thế nào? + - Công ty TNHH XYZ ngừng hoạt động kinh doanh 01 năm mà không thông báo với cơ quan + đăng ký kinh doanh và cơ quan thuế? Trong trường hợp này, Công ty bị thu hồi Giấy + chứng nhận đăng ký doanh nghiệp thì có đúng quy định pháp luật hiện hành không? +- source_sentence: thời hạn giải quyết việc gia hạn thời gian học tập cho lưu học + sinh để hoàn thành khóa học như sau:Tối đa 20 ngày làm việc kể từ ngày nhận đủ + hồ sơ hợp lệ. + sentences: + - Tôi muốn hỏi về gia hạn thời gian học tập cho lưu học sinh để hoàn thành khóa + học, có thời hạn giải quyết như thế nào? + - Thành phần hồ sơ giải quyết chế độ hỗ trợ đối với người Việt Nam có công với cách + mạng quy định tại Nghị định số 102/2018/NĐ- CP ngày 20/7/2018 của Chính phủ về + chế độ hỗ trợ và một số chế độ đãi ngộ khác đối với người Việt Nam có công với + cách mạng, người tham gia kháng chiến, chiến tranh bảo vệ Tổ quốc và làm nhiệm + vụ quốc tế đang định cư ở nước ngoài (Nghị định số 102/2018/NĐ-CP), bao gồm những + giấy tờ gì? + - Trường hợp nào không thuộc trường hợp điều chỉnh giấy phép khai thác nước mặt, + nước biển? +pipeline_tag: sentence-similarity +model-index: +- name: SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder + results: + - task: + type: information-retrieval + name: Information Retrieval + dataset: + name: dim 768 + type: dim_768 + metrics: + - type: cosine_accuracy@1 + value: 0.5238095238095238 + name: Cosine Accuracy@1 + - type: cosine_accuracy@3 + value: 0.6834215167548501 + name: Cosine Accuracy@3 + - type: cosine_accuracy@5 + value: 0.746031746031746 + name: Cosine Accuracy@5 + - type: cosine_accuracy@10 + value: 0.798941798941799 + name: Cosine Accuracy@10 + - type: cosine_precision@1 + value: 0.5238095238095238 + name: Cosine Precision@1 + - type: cosine_precision@3 + value: 0.22780717225161667 + name: Cosine Precision@3 + - type: cosine_precision@5 + value: 0.1492063492063492 + name: Cosine Precision@5 + - type: cosine_precision@10 + value: 0.07989417989417988 + name: Cosine Precision@10 + - type: cosine_recall@1 + value: 0.5238095238095238 + name: Cosine Recall@1 + - type: cosine_recall@3 + value: 0.6834215167548501 + name: Cosine Recall@3 + - type: cosine_recall@5 + value: 0.746031746031746 + name: Cosine Recall@5 + - type: cosine_recall@10 + value: 0.798941798941799 + name: Cosine Recall@10 + - type: cosine_ndcg@10 + value: 0.6615546646300381 + name: Cosine Ndcg@10 + - type: cosine_mrr@10 + value: 0.6173889308809946 + name: Cosine Mrr@10 + - type: cosine_map@100 + value: 0.623396480440854 + name: Cosine Map@100 + - task: + type: information-retrieval + name: Information Retrieval + dataset: + name: dim 512 + type: dim_512 + metrics: + - type: cosine_accuracy@1 + value: 0.5246913580246914 + name: Cosine Accuracy@1 + - type: cosine_accuracy@3 + value: 0.6781305114638448 + name: Cosine Accuracy@3 + - type: cosine_accuracy@5 + value: 0.7451499118165785 + name: Cosine Accuracy@5 + - type: cosine_accuracy@10 + value: 0.7918871252204586 + name: Cosine Accuracy@10 + - type: cosine_precision@1 + value: 0.5246913580246914 + name: Cosine Precision@1 + - type: cosine_precision@3 + value: 0.22604350382128158 + name: Cosine Precision@3 + - type: cosine_precision@5 + value: 0.1490299823633157 + name: Cosine Precision@5 + - type: cosine_precision@10 + value: 0.07918871252204585 + name: Cosine Precision@10 + - type: cosine_recall@1 + value: 0.5246913580246914 + name: Cosine Recall@1 + - type: cosine_recall@3 + value: 0.6781305114638448 + name: Cosine Recall@3 + - type: cosine_recall@5 + value: 0.7451499118165785 + name: Cosine Recall@5 + - type: cosine_recall@10 + value: 0.7918871252204586 + name: Cosine Recall@10 + - type: cosine_ndcg@10 + value: 0.657037167164812 + name: Cosine Ndcg@10 + - type: cosine_mrr@10 + value: 0.6137468155986678 + name: Cosine Mrr@10 + - type: cosine_map@100 + value: 0.6201350917863858 + name: Cosine Map@100 + - task: + type: information-retrieval + name: Information Retrieval + dataset: + name: dim 256 + type: dim_256 + metrics: + - type: cosine_accuracy@1 + value: 0.5264550264550265 + name: Cosine Accuracy@1 + - type: cosine_accuracy@3 + value: 0.6657848324514991 + name: Cosine Accuracy@3 + - type: cosine_accuracy@5 + value: 0.7345679012345679 + name: Cosine Accuracy@5 + - type: cosine_accuracy@10 + value: 0.7857142857142857 + name: Cosine Accuracy@10 + - type: cosine_precision@1 + value: 0.5264550264550265 + name: Cosine Precision@1 + - type: cosine_precision@3 + value: 0.22192827748383304 + name: Cosine Precision@3 + - type: cosine_precision@5 + value: 0.1469135802469136 + name: Cosine Precision@5 + - type: cosine_precision@10 + value: 0.07857142857142857 + name: Cosine Precision@10 + - type: cosine_recall@1 + value: 0.5264550264550265 + name: Cosine Recall@1 + - type: cosine_recall@3 + value: 0.6657848324514991 + name: Cosine Recall@3 + - type: cosine_recall@5 + value: 0.7345679012345679 + name: Cosine Recall@5 + - type: cosine_recall@10 + value: 0.7857142857142857 + name: Cosine Recall@10 + - type: cosine_ndcg@10 + value: 0.6532010943983831 + name: Cosine Ndcg@10 + - type: cosine_mrr@10 + value: 0.6109077993337254 + name: Cosine Mrr@10 + - type: cosine_map@100 + value: 0.6170649752059452 + name: Cosine Map@100 + - task: + type: information-retrieval + name: Information Retrieval + dataset: + name: dim 128 + type: dim_128 + metrics: + - type: cosine_accuracy@1 + value: 0.5052910052910053 + name: Cosine Accuracy@1 + - type: cosine_accuracy@3 + value: 0.6481481481481481 + name: Cosine Accuracy@3 + - type: cosine_accuracy@5 + value: 0.716931216931217 + name: Cosine Accuracy@5 + - type: cosine_accuracy@10 + value: 0.7795414462081128 + name: Cosine Accuracy@10 + - type: cosine_precision@1 + value: 0.5052910052910053 + name: Cosine Precision@1 + - type: cosine_precision@3 + value: 0.21604938271604937 + name: Cosine Precision@3 + - type: cosine_precision@5 + value: 0.14338624338624337 + name: Cosine Precision@5 + - type: cosine_precision@10 + value: 0.07795414462081128 + name: Cosine Precision@10 + - type: cosine_recall@1 + value: 0.5052910052910053 + name: Cosine Recall@1 + - type: cosine_recall@3 + value: 0.6481481481481481 + name: Cosine Recall@3 + - type: cosine_recall@5 + value: 0.716931216931217 + name: Cosine Recall@5 + - type: cosine_recall@10 + value: 0.7795414462081128 + name: Cosine Recall@10 + - type: cosine_ndcg@10 + value: 0.6385870412148211 + name: Cosine Ndcg@10 + - type: cosine_mrr@10 + value: 0.5938485064807817 + name: Cosine Mrr@10 + - type: cosine_map@100 + value: 0.5999045663762226 + name: Cosine Map@100 + - task: + type: information-retrieval + name: Information Retrieval + dataset: + name: dim 64 + type: dim_64 + metrics: + - type: cosine_accuracy@1 + value: 0.47795414462081126 + name: Cosine Accuracy@1 + - type: cosine_accuracy@3 + value: 0.6287477954144621 + name: Cosine Accuracy@3 + - type: cosine_accuracy@5 + value: 0.6984126984126984 + name: Cosine Accuracy@5 + - type: cosine_accuracy@10 + value: 0.7627865961199295 + name: Cosine Accuracy@10 + - type: cosine_precision@1 + value: 0.47795414462081126 + name: Cosine Precision@1 + - type: cosine_precision@3 + value: 0.20958259847148733 + name: Cosine Precision@3 + - type: cosine_precision@5 + value: 0.13968253968253966 + name: Cosine Precision@5 + - type: cosine_precision@10 + value: 0.07627865961199294 + name: Cosine Precision@10 + - type: cosine_recall@1 + value: 0.47795414462081126 + name: Cosine Recall@1 + - type: cosine_recall@3 + value: 0.6287477954144621 + name: Cosine Recall@3 + - type: cosine_recall@5 + value: 0.6984126984126984 + name: Cosine Recall@5 + - type: cosine_recall@10 + value: 0.7627865961199295 + name: Cosine Recall@10 + - type: cosine_ndcg@10 + value: 0.616607053816669 + name: Cosine Ndcg@10 + - type: cosine_mrr@10 + value: 0.5701320651717475 + name: Cosine Mrr@10 + - type: cosine_map@100 + value: 0.5766001101533499 + name: Cosine Map@100 +--- + +# SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder + +This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more. + +## Model Details + +### Model Description +- **Model Type:** Sentence Transformer +- **Base model:** [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) +- **Maximum Sequence Length:** 256 tokens +- **Output Dimensionality:** 768 tokens +- **Similarity Function:** Cosine Similarity + + + + +### Model Sources + +- **Documentation:** [Sentence Transformers Documentation](https://sbert.net) +- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers) +- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers) + +### Full Model Architecture + +``` +SentenceTransformer( + (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel + (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True}) +) +``` + +## Usage + +### Direct Usage (Sentence Transformers) + +First install the Sentence Transformers library: + +```bash +pip install -U sentence-transformers +``` + +Then you can load this model and run inference. +```python +from sentence_transformers import SentenceTransformer + +# Download from the 🤗 Hub +model = SentenceTransformer("anhtuansh/vietnamese-bi-encoder-Financial-Matryoshka") +# Run inference +sentences = [ + 'thời hạn giải quyết việc gia hạn thời gian học tập cho lưu học sinh để hoàn thành khóa học như sau:Tối đa 20 ngày làm việc kể từ ngày nhận đủ hồ sơ hợp lệ.', + 'Tôi muốn hỏi về gia hạn thời gian học tập cho lưu học sinh để hoàn thành khóa học, có thời hạn giải quyết như thế nào?', + 'Thành phần hồ sơ giải quyết chế độ hỗ trợ đối với người Việt Nam có công với cách mạng quy định tại Nghị định số 102/2018/NĐ- CP ngày 20/7/2018 của Chính phủ về chế độ hỗ trợ và một số chế độ đãi ngộ khác đối với người Việt Nam có công với cách mạng, người tham gia kháng chiến, chiến tranh bảo vệ Tổ quốc và làm nhiệm vụ quốc tế đang định cư ở nước ngoài (Nghị định số 102/2018/NĐ-CP), bao gồm những giấy tờ gì?', +] +embeddings = model.encode(sentences) +print(embeddings.shape) +# [3, 768] + +# Get the similarity scores for the embeddings +similarities = model.similarity(embeddings, embeddings) +print(similarities.shape) +# [3, 3] +``` + + + + + + + +## Evaluation + +### Metrics + +#### Information Retrieval +* Dataset: `dim_768` +* Evaluated with [InformationRetrievalEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) + +| Metric | Value | +|:--------------------|:-----------| +| cosine_accuracy@1 | 0.5238 | +| cosine_accuracy@3 | 0.6834 | +| cosine_accuracy@5 | 0.746 | +| cosine_accuracy@10 | 0.7989 | +| cosine_precision@1 | 0.5238 | +| cosine_precision@3 | 0.2278 | +| cosine_precision@5 | 0.1492 | +| cosine_precision@10 | 0.0799 | +| cosine_recall@1 | 0.5238 | +| cosine_recall@3 | 0.6834 | +| cosine_recall@5 | 0.746 | +| cosine_recall@10 | 0.7989 | +| cosine_ndcg@10 | 0.6616 | +| cosine_mrr@10 | 0.6174 | +| **cosine_map@100** | **0.6234** | + +#### Information Retrieval +* Dataset: `dim_512` +* Evaluated with [InformationRetrievalEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) + +| Metric | Value | +|:--------------------|:-----------| +| cosine_accuracy@1 | 0.5247 | +| cosine_accuracy@3 | 0.6781 | +| cosine_accuracy@5 | 0.7451 | +| cosine_accuracy@10 | 0.7919 | +| cosine_precision@1 | 0.5247 | +| cosine_precision@3 | 0.226 | +| cosine_precision@5 | 0.149 | +| cosine_precision@10 | 0.0792 | +| cosine_recall@1 | 0.5247 | +| cosine_recall@3 | 0.6781 | +| cosine_recall@5 | 0.7451 | +| cosine_recall@10 | 0.7919 | +| cosine_ndcg@10 | 0.657 | +| cosine_mrr@10 | 0.6137 | +| **cosine_map@100** | **0.6201** | + +#### Information Retrieval +* Dataset: `dim_256` +* Evaluated with [InformationRetrievalEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) + +| Metric | Value | +|:--------------------|:-----------| +| cosine_accuracy@1 | 0.5265 | +| cosine_accuracy@3 | 0.6658 | +| cosine_accuracy@5 | 0.7346 | +| cosine_accuracy@10 | 0.7857 | +| cosine_precision@1 | 0.5265 | +| cosine_precision@3 | 0.2219 | +| cosine_precision@5 | 0.1469 | +| cosine_precision@10 | 0.0786 | +| cosine_recall@1 | 0.5265 | +| cosine_recall@3 | 0.6658 | +| cosine_recall@5 | 0.7346 | +| cosine_recall@10 | 0.7857 | +| cosine_ndcg@10 | 0.6532 | +| cosine_mrr@10 | 0.6109 | +| **cosine_map@100** | **0.6171** | + +#### Information Retrieval +* Dataset: `dim_128` +* Evaluated with [InformationRetrievalEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) + +| Metric | Value | +|:--------------------|:-----------| +| cosine_accuracy@1 | 0.5053 | +| cosine_accuracy@3 | 0.6481 | +| cosine_accuracy@5 | 0.7169 | +| cosine_accuracy@10 | 0.7795 | +| cosine_precision@1 | 0.5053 | +| cosine_precision@3 | 0.216 | +| cosine_precision@5 | 0.1434 | +| cosine_precision@10 | 0.078 | +| cosine_recall@1 | 0.5053 | +| cosine_recall@3 | 0.6481 | +| cosine_recall@5 | 0.7169 | +| cosine_recall@10 | 0.7795 | +| cosine_ndcg@10 | 0.6386 | +| cosine_mrr@10 | 0.5938 | +| **cosine_map@100** | **0.5999** | + +#### Information Retrieval +* Dataset: `dim_64` +* Evaluated with [InformationRetrievalEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator) + +| Metric | Value | +|:--------------------|:-----------| +| cosine_accuracy@1 | 0.478 | +| cosine_accuracy@3 | 0.6287 | +| cosine_accuracy@5 | 0.6984 | +| cosine_accuracy@10 | 0.7628 | +| cosine_precision@1 | 0.478 | +| cosine_precision@3 | 0.2096 | +| cosine_precision@5 | 0.1397 | +| cosine_precision@10 | 0.0763 | +| cosine_recall@1 | 0.478 | +| cosine_recall@3 | 0.6287 | +| cosine_recall@5 | 0.6984 | +| cosine_recall@10 | 0.7628 | +| cosine_ndcg@10 | 0.6166 | +| cosine_mrr@10 | 0.5701 | +| **cosine_map@100** | **0.5766** | + + + + + +## Training Details + +### Training Dataset + +#### Unnamed Dataset + + +* Size: 10,200 training samples +* Columns: positive and anchor +* Approximate statistics based on the first 1000 samples: + | | positive | anchor | + |:--------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------| + | type | string | string | + | details | | | +* Samples: + | positive | anchor | + |:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| + | 1. Thẩm quyền cấp giấy phép tổ chức triển lãm, hội chợ xuất bản phẩm được quy định cụ thể như sau: - Bộ Thông tin và Truyền thông cấp giấy phép cho cơ quan, tổ chức ở trung ương; cơ quan, tổ chức, cá nhân nước ngoài;- Ủy ban nhân dân cấp tỉnh cấp giấy phép cho cơ quan, tổ chức, cá nhân có trụ sở hoặc cư trú tại địa phương; chi nhánh, văn phòng đại diện, đơn vị trực thuộc cơ quan, tổ chức ở trung ương đặt tại địa phương.2. Hồ sơ bao gồm: - Đơn đề nghị cấp giấy phép trong đó ghi rõ mục đích, thời gian, địa điểm và tên các đơn vị tham gia triển lãm, hội chợ;- Danh mục xuất bản phẩm để triển lãm, hội chợ theo mẫu quy định.(Quy định tại Khoản 2, 3 Điều 44 Luật Xuất bản) | Hồ sơ và thẩm quyền cấp giấy phép tổ chức triển lãm, hội chợ xuất bản phẩm được quy định cụ thể như thế nào? | + | - Trường hợp mất Danh mục và Phiếu theo dõi trừ lùi thì người khai hải quan có hồ sơ đề nghị cơ quan hải quan nơi cấp Danh mục lần đầu đề nghị cấp lại, bao gồm:
+ Công văn đề nghị cấp lại Danh mục, Phiếu theo dõi trừ lùi trong đó nêu rõ: lý do mất Danh mục, Phiếu theo dõi trừ lùi và cam kết của người khai hải quan về tính chính xác của nội dung khai báo;
+ Bảng kê toàn bộ tờ khai hải quan (điện tử hoặc giấy) của số lượng hàng hóa đã nhập khẩu theo danh mục;
+ Bản Danh mục và Phiếu theo dõi trừ lùi của cơ quan hải quan nơi làm thủ tục nhập khẩu lô hàng cuối cùng trước khi thất lạc (01 bản chụp có xác nhận của cơ quan hải quan nơi nhập khẩu).
- Khi làm thủ tục hải quan, người khai hải quan nộp, xuất trình cho cơ quan hải quan nơi đăng ký tờ khai hải quan các hồ sơ sau:
+ Hồ sơ hải quan theo quy định hiện hành;
+ Danh mục hàng hóa và Phiếu theo dõi trừ lùi đã đăng ký với cơ quan hải quan (bản giao người khai hải quan) để cơ quan hải quan làm thủ tục thực hiện trừ lùi hàng hóa nhập khẩu. | Trường hợp tôi làm mất Danh mục và Phiếu theo dõi trừ lùi hàng hóa nhập khẩu dung môi N-Hexan dùng trong sản xuất khô dầu đậu tương và dầu thực vật, cám gạo trích ly và dầu cám thì cần làm những thủ tục gì? | + | Thẩm quyền cấp Giấy chứng nhận cơ sở đủ điều kiện đăng kiểm tàu cá là: Tổng cục Thủy sản. | Thẩm quyền cấp Giấy chứng nhận cơ sở đủ điều kiện đăng kiểm tàu cá ? | +* Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: + ```json + { + "loss": "MultipleNegativesRankingLoss", + "matryoshka_dims": [ + 768, + 512, + 256, + 128, + 64 + ], + "matryoshka_weights": [ + 1, + 1, + 1, + 1, + 1 + ], + "n_dims_per_step": -1 + } + ``` + +### Evaluation Dataset + +#### Unnamed Dataset + + +* Size: 1,134 evaluation samples +* Columns: positive and anchor +* Approximate statistics based on the first 1000 samples: + | | positive | anchor | + |:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------| + | type | string | string | + | details | | | +* Samples: + | positive | anchor | + |:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| + | Việc thực hiện thủ tục tặng thưởng Bằng khen cấp Bộ, ban, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương về thành tích đột xuất được tiến hành như sau:
Bước 1. Vụ, phòng, Ban Thi đua – Khen thưởng các Bộ, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương tiếp nhận đề nghị khen thưởng của các đơn vị thực thuộc.
Bước 2. Thẩm định hồ sơ, xin ý kiến các cơ quan liên quan, báo cáo Hội đồng thi đua khen thưởng cùng cấp, tổng hợp trình Bộ trưởng, thủ trưởng đơn vị, Chủ tịch UBND tỉnh, thành phố quyết định khen thưởng.
Bước 3. Khi có Quyết định của Bộ trưởng, thủ trưởng đơn vị, Chủ tịch UBND tỉnh, thành phố trực thuộc Trung ương; Vụ, phòng, Ban Thi đua – khen thưởng các Bộ, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương thông báo Quyết định, viết bằng, đóng dấu và cấp phát cho đơn vị trình khen.
Bước 4. Các trường hợp không được khen thưởng (không đúng đối tượng, không đủ tiêu chuẩn, không đủ hồ sơ hoặc vi phạm pháp luật), Vụ, phòng, Ban Thi đua – khen thưởng các Bộ, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương thông báo đến các đơn vị trình khen biết. | Đề nghị cho biết trình tự thực hiện thủ tục tặng thưởng Bằng khen cấp Bộ, ban, ngành, đoàn thể Trung ương, tỉnh, thành phố trực thuộc Trung ương về thành tích đột xuất | + | Bông thủy tinh chống cháy là vật liệu chống cháy, thuộc danh mục phương tiện PCCC quy định Phụ lục V Nghị định số 79/2014/NĐ-CP ngày 31/7/2014 quy định chi tiết thi hành một số điều của Luật phòng cháy và chữa cháy và Luật sửa đổi, bổ sung một số điều của luật phòng cháy và chữa cháy. Do đó, nếu đưa vào sử dụng trong hạng mục PCCC của công trình thì phải kiểm định về PCCC. Tuy nhiên, đối với vật liệu bông thủy tinh cách nhiệt chống cháy được các cơ quan, tổ chức, cá nhân cần xem xét tùy vào yêu cầu cụ thể của công trình để đăng ký kiểm định “tính nguy hiểm cháy” đối với vật liệu đó hoặc “giới hạn chịu lửa” của kết cấu sử dụng vật liệu đó. Thành phần hồ sơ đề nghị kiểm định được quy định tại Điểm a Khoản 4 Điều 18 Thông tư 66/2014/TT-BCA ngày 16/12/2014 Quy định chi tiết thi hành một số điều của Nghị định số 79/2014/NĐ-CP ngày 31/7/2014 quy định chi tiết thi hành một số điều của Luật phòng cháy và chữa cháy và Luật sửa đổi, bổ sung một số điều của luật phòng cháy và chữa cháy, cụ thể bao gồm:- Đơn đề nghị kiểm định phương tiện (mẫu số PC17 ban hành kèm theo Thông tư số 66/2014/TT-BCA ngày 16/12/2014 của Bộ Công an);- Chứng nhận xuất xưởng.- Chứng nhận chất lượng.- Các tài liệu kỹ thuật của bông thủy tinh cách nhiệt chống cháy đề nghị kiểm định; | Bông thủy tinh cách nhiệt chống cháy có phải kiểm định kh��ng? Thành phần hồ sơ đề nghị kiểm định như thế nào? | + | Thẻ thường trú không có thời hạn nhưng định kỳ 10 năm một lần, người nước ngoài thường trú phải đến nộp hồ sơ tại Phòng Quản lý xuất, nhập cảnh Công an tỉnh, thành phố trực thuộc Trung ương để đề nghị cấp đổi thẻ thường trú. | Thẻ thường trú có thời hạn không? | +* Loss: [MatryoshkaLoss](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters: + ```json + { + "loss": "MultipleNegativesRankingLoss", + "matryoshka_dims": [ + 768, + 512, + 256, + 128, + 64 + ], + "matryoshka_weights": [ + 1, + 1, + 1, + 1, + 1 + ], + "n_dims_per_step": -1 + } + ``` + +### Training Hyperparameters +#### Non-Default Hyperparameters + +- `eval_strategy`: epoch +- `per_device_train_batch_size`: 2 +- `per_device_eval_batch_size`: 2 +- `gradient_accumulation_steps`: 2 +- `learning_rate`: 2e-05 +- `num_train_epochs`: 2 +- `lr_scheduler_type`: cosine +- `warmup_ratio`: 0.1 +- `fp16`: True +- `tf32`: False +- `load_best_model_at_end`: True +- `optim`: adamw_torch_fused +- `batch_sampler`: no_duplicates + +#### All Hyperparameters +
Click to expand + +- `overwrite_output_dir`: False +- `do_predict`: False +- `eval_strategy`: epoch +- `prediction_loss_only`: True +- `per_device_train_batch_size`: 2 +- `per_device_eval_batch_size`: 2 +- `per_gpu_train_batch_size`: None +- `per_gpu_eval_batch_size`: None +- `gradient_accumulation_steps`: 2 +- `eval_accumulation_steps`: None +- `learning_rate`: 2e-05 +- `weight_decay`: 0.0 +- `adam_beta1`: 0.9 +- `adam_beta2`: 0.999 +- `adam_epsilon`: 1e-08 +- `max_grad_norm`: 1.0 +- `num_train_epochs`: 2 +- `max_steps`: -1 +- `lr_scheduler_type`: cosine +- `lr_scheduler_kwargs`: {} +- `warmup_ratio`: 0.1 +- `warmup_steps`: 0 +- `log_level`: passive +- `log_level_replica`: warning +- `log_on_each_node`: True +- `logging_nan_inf_filter`: True +- `save_safetensors`: True +- `save_on_each_node`: False +- `save_only_model`: False +- `restore_callback_states_from_checkpoint`: False +- `no_cuda`: False +- `use_cpu`: False +- `use_mps_device`: False +- `seed`: 42 +- `data_seed`: None +- `jit_mode_eval`: False +- `use_ipex`: False +- `bf16`: False +- `fp16`: True +- `fp16_opt_level`: O1 +- `half_precision_backend`: auto +- `bf16_full_eval`: False +- `fp16_full_eval`: False +- `tf32`: False +- `local_rank`: 0 +- `ddp_backend`: None +- `tpu_num_cores`: None +- `tpu_metrics_debug`: False +- `debug`: [] +- `dataloader_drop_last`: False +- `dataloader_num_workers`: 0 +- `dataloader_prefetch_factor`: None +- `past_index`: -1 +- `disable_tqdm`: False +- `remove_unused_columns`: True +- `label_names`: None +- `load_best_model_at_end`: True +- `ignore_data_skip`: False +- `fsdp`: [] +- `fsdp_min_num_params`: 0 +- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False} +- `fsdp_transformer_layer_cls_to_wrap`: None +- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None} +- `deepspeed`: None +- `label_smoothing_factor`: 0.0 +- `optim`: adamw_torch_fused +- `optim_args`: None +- `adafactor`: False +- `group_by_length`: False +- `length_column_name`: length +- `ddp_find_unused_parameters`: None +- `ddp_bucket_cap_mb`: None +- `ddp_broadcast_buffers`: False +- `dataloader_pin_memory`: True +- `dataloader_persistent_workers`: False +- `skip_memory_metrics`: True +- `use_legacy_prediction_loop`: False +- `push_to_hub`: False +- `resume_from_checkpoint`: None +- `hub_model_id`: None +- `hub_strategy`: every_save +- `hub_private_repo`: False +- `hub_always_push`: False +- `gradient_checkpointing`: False +- `gradient_checkpointing_kwargs`: None +- `include_inputs_for_metrics`: False +- `eval_do_concat_batches`: True +- `fp16_backend`: auto +- `push_to_hub_model_id`: None +- `push_to_hub_organization`: None +- `mp_parameters`: +- `auto_find_batch_size`: False +- `full_determinism`: False +- `torchdynamo`: None +- `ray_scope`: last +- `ddp_timeout`: 1800 +- `torch_compile`: False +- `torch_compile_backend`: None +- `torch_compile_mode`: None +- `dispatch_batches`: None +- `split_batches`: None +- `include_tokens_per_second`: False +- `include_num_input_tokens_seen`: False +- `neftune_noise_alpha`: None +- `optim_target_modules`: None +- `batch_eval_metrics`: False +- `batch_sampler`: no_duplicates +- `multi_dataset_batch_sampler`: proportional + +
+ +### Training Logs +
Click to expand + +| Epoch | Step | Training Loss | loss | dim_128_cosine_map@100 | dim_256_cosine_map@100 | dim_512_cosine_map@100 | dim_64_cosine_map@100 | dim_768_cosine_map@100 | +|:-------:|:--------:|:-------------:|:----------:|:----------------------:|:----------------------:|:----------------------:|:---------------------:|:----------------------:| +| 0.0039 | 10 | 0.3396 | - | - | - | - | - | - | +| 0.0078 | 20 | 0.6882 | - | - | - | - | - | - | +| 0.0118 | 30 | 0.6307 | - | - | - | - | - | - | +| 0.0157 | 40 | 0.8952 | - | - | - | - | - | - | +| 0.0196 | 50 | 0.2037 | - | - | - | - | - | - | +| 0.0235 | 60 | 0.5459 | - | - | - | - | - | - | +| 0.0275 | 70 | 0.3136 | - | - | - | - | - | - | +| 0.0314 | 80 | 0.7546 | - | - | - | - | - | - | +| 0.0353 | 90 | 0.0148 | - | - | - | - | - | - | +| 0.0392 | 100 | 0.6756 | - | - | - | - | - | - | +| 0.0431 | 110 | 0.8943 | - | - | - | - | - | - | +| 0.0471 | 120 | 0.7474 | - | - | - | - | - | - | +| 0.0510 | 130 | 0.1574 | - | - | - | - | - | - | +| 0.0549 | 140 | 0.5511 | - | - | - | - | - | - | +| 0.0588 | 150 | 0.0372 | - | - | - | - | - | - | +| 0.0627 | 160 | 0.6336 | - | - | - | - | - | - | +| 0.0667 | 170 | 1.132 | - | - | - | - | - | - | +| 0.0706 | 180 | 0.6303 | - | - | - | - | - | - | +| 0.0745 | 190 | 0.1245 | - | - | - | - | - | - | +| 0.0784 | 200 | 0.6711 | - | - | - | - | - | - | +| 0.0824 | 210 | 0.2811 | - | - | - | - | - | - | +| 0.0863 | 220 | 0.522 | - | - | - | - | - | - | +| 0.0902 | 230 | 0.0312 | - | - | - | - | - | - | +| 0.0941 | 240 | 0.5557 | - | - | - | - | - | - | +| 0.0980 | 250 | 0.084 | - | - | - | - | - | - | +| 0.1020 | 260 | 0.3716 | - | - | - | - | - | - | +| 0.1059 | 270 | 0.1187 | - | - | - | - | - | - | +| 0.1098 | 280 | 1.2872 | - | - | - | - | - | - | +| 0.1137 | 290 | 0.0362 | - | - | - | - | - | - | +| 0.1176 | 300 | 0.4163 | - | - | - | - | - | - | +| 0.1216 | 310 | 0.0101 | - | - | - | - | - | - | +| 0.1255 | 320 | 0.5686 | - | - | - | - | - | - | +| 0.1294 | 330 | 0.2448 | - | - | - | - | - | - | +| 0.1333 | 340 | 0.2329 | - | - | - | - | - | - | +| 0.1373 | 350 | 0.3119 | - | - | - | - | - | - | +| 0.1412 | 360 | 0.0167 | - | - | - | - | - | - | +| 0.1451 | 370 | 0.2482 | - | - | - | - | - | - | +| 0.1490 | 380 | 0.0887 | - | - | - | - | - | - | +| 0.1529 | 390 | 0.6644 | - | - | - | - | - | - | +| 0.1569 | 400 | 0.0572 | - | - | - | - | - | - | +| 0.1608 | 410 | 0.6239 | - | - | - | - | - | - | +| 0.1647 | 420 | 0.8892 | - | - | - | - | - | - | +| 0.1686 | 430 | 0.0182 | - | - | - | - | - | - | +| 0.1725 | 440 | 0.072 | - | - | - | - | - | - | +| 0.1765 | 450 | 0.023 | - | - | - | - | - | - | +| 0.1804 | 460 | 0.4117 | - | - | - | - | - | - | +| 0.1843 | 470 | 0.0689 | - | - | - | - | - | - | +| 0.1882 | 480 | 0.1337 | - | - | - | - | - | - | +| 0.1922 | 490 | 0.2742 | - | - | - | - | - | - | +| 0.1961 | 500 | 0.0038 | - | - | - | - | - | - | +| 0.2 | 510 | 0.4994 | - | - | - | - | - | - | +| 0.2039 | 520 | 0.0226 | - | - | - | - | - | - | +| 0.2078 | 530 | 0.0865 | - | - | - | - | - | - | +| 0.2118 | 540 | 0.0386 | - | - | - | - | - | - | +| 0.2157 | 550 | 0.0836 | - | - | - | - | - | - | +| 0.2196 | 560 | 0.4394 | - | - | - | - | - | - | +| 0.2235 | 570 | 0.2745 | - | - | - | - | - | - | +| 0.2275 | 580 | 0.0046 | - | - | - | - | - | - | +| 0.2314 | 590 | 0.0433 | - | - | - | - | - | - | +| 0.2353 | 600 | 0.2767 | - | - | - | - | - | - | +| 0.2392 | 610 | 0.8611 | - | - | - | - | - | - | +| 0.2431 | 620 | 0.0029 | - | - | - | - | - | - | +| 0.2471 | 630 | 0.1992 | - | - | - | - | - | - | +| 0.2510 | 640 | 0.116 | - | - | - | - | - | - | +| 0.2549 | 650 | 0.4985 | - | - | - | - | - | - | +| 0.2588 | 660 | 0.3053 | - | - | - | - | - | - | +| 0.2627 | 670 | 0.0084 | - | - | - | - | - | - | +| 0.2667 | 680 | 0.0156 | - | - | - | - | - | - | +| 0.2706 | 690 | 0.7467 | - | - | - | - | - | - | +| 0.2745 | 700 | 0.006 | - | - | - | - | - | - | +| 0.2784 | 710 | 0.0607 | - | - | - | - | - | - | +| 0.2824 | 720 | 0.0031 | - | - | - | - | - | - | +| 0.2863 | 730 | 0.2955 | - | - | - | - | - | - | +| 0.2902 | 740 | 0.2597 | - | - | - | - | - | - | +| 0.2941 | 750 | 0.0021 | - | - | - | - | - | - | +| 0.2980 | 760 | 0.0116 | - | - | - | - | - | - | +| 0.3020 | 770 | 0.3005 | - | - | - | - | - | - | +| 0.3059 | 780 | 0.3142 | - | - | - | - | - | - | +| 0.3098 | 790 | 0.0363 | - | - | - | - | - | - | +| 0.3137 | 800 | 0.0263 | - | - | - | - | - | - | +| 0.3176 | 810 | 0.0832 | - | - | - | - | - | - | +| 0.3216 | 820 | 0.0004 | - | - | - | - | - | - | +| 0.3255 | 830 | 0.0391 | - | - | - | - | - | - | +| 0.3294 | 840 | 0.4722 | - | - | - | - | - | - | +| 0.3333 | 850 | 0.0054 | - | - | - | - | - | - | +| 0.3373 | 860 | 0.1622 | - | - | - | - | - | - | +| 0.3412 | 870 | 0.0904 | - | - | - | - | - | - | +| 0.3451 | 880 | 0.1727 | - | - | - | - | - | - | +| 0.3490 | 890 | 0.0352 | - | - | - | - | - | - | +| 0.3529 | 900 | 0.0074 | - | - | - | - | - | - | +| 0.3569 | 910 | 0.054 | - | - | - | - | - | - | +| 0.3608 | 920 | 0.0922 | - | - | - | - | - | - | +| 0.3647 | 930 | 0.1067 | - | - | - | - | - | - | +| 0.3686 | 940 | 0.0683 | - | - | - | - | - | - | +| 0.3725 | 950 | 0.4656 | - | - | - | - | - | - | +| 0.3765 | 960 | 0.038 | - | - | - | - | - | - | +| 0.3804 | 970 | 0.1312 | - | - | - | - | - | - | +| 0.3843 | 980 | 0.2714 | - | - | - | - | - | - | +| 0.3882 | 990 | 0.0197 | - | - | - | - | - | - | +| 0.3922 | 1000 | 0.21 | - | - | - | - | - | - | +| 0.3961 | 1010 | 0.0871 | - | - | - | - | - | - | +| 0.4 | 1020 | 0.3741 | - | - | - | - | - | - | +| 0.4039 | 1030 | 0.0181 | - | - | - | - | - | - | +| 0.4078 | 1040 | 0.0191 | - | - | - | - | - | - | +| 0.4118 | 1050 | 0.7567 | - | - | - | - | - | - | +| 0.4157 | 1060 | 0.159 | - | - | - | - | - | - | +| 0.4196 | 1070 | 0.1752 | - | - | - | - | - | - | +| 0.4235 | 1080 | 0.0191 | - | - | - | - | - | - | +| 0.4275 | 1090 | 0.0328 | - | - | - | - | - | - | +| 0.4314 | 1100 | 0.2144 | - | - | - | - | - | - | +| 0.4353 | 1110 | 0.0268 | - | - | - | - | - | - | +| 0.4392 | 1120 | 0.3813 | - | - | - | - | - | - | +| 0.4431 | 1130 | 0.4766 | - | - | - | - | - | - | +| 0.4471 | 1140 | 0.0663 | - | - | - | - | - | - | +| 0.4510 | 1150 | 0.0144 | - | - | - | - | - | - | +| 0.4549 | 1160 | 0.0759 | - | - | - | - | - | - | +| 0.4588 | 1170 | 0.2779 | - | - | - | - | - | - | +| 0.4627 | 1180 | 0.2943 | - | - | - | - | - | - | +| 0.4667 | 1190 | 0.0017 | - | - | - | - | - | - | +| 0.4706 | 1200 | 0.0184 | - | - | - | - | - | - | +| 0.4745 | 1210 | 0.4471 | - | - | - | - | - | - | +| 0.4784 | 1220 | 0.0798 | - | - | - | - | - | - | +| 0.4824 | 1230 | 0.2868 | - | - | - | - | - | - | +| 0.4863 | 1240 | 0.01 | - | - | - | - | - | - | +| 0.4902 | 1250 | 0.0346 | - | - | - | - | - | - | +| 0.4941 | 1260 | 0.2673 | - | - | - | - | - | - | +| 0.4980 | 1270 | 0.3065 | - | - | - | - | - | - | +| 0.5020 | 1280 | 0.0683 | - | - | - | - | - | - | +| 0.5059 | 1290 | 0.2923 | - | - | - | - | - | - | +| 0.5098 | 1300 | 0.3592 | - | - | - | - | - | - | +| 0.5137 | 1310 | 0.2563 | - | - | - | - | - | - | +| 0.5176 | 1320 | 0.0315 | - | - | - | - | - | - | +| 0.5216 | 1330 | 0.0049 | - | - | - | - | - | - | +| 0.5255 | 1340 | 0.0766 | - | - | - | - | - | - | +| 0.5294 | 1350 | 0.0143 | - | - | - | - | - | - | +| 0.5333 | 1360 | 0.013 | - | - | - | - | - | - | +| 0.5373 | 1370 | 0.0037 | - | - | - | - | - | - | +| 0.5412 | 1380 | 0.0224 | - | - | - | - | - | - | +| 0.5451 | 1390 | 0.2682 | - | - | - | - | - | - | +| 0.5490 | 1400 | 0.0013 | - | - | - | - | - | - | +| 0.5529 | 1410 | 0.0859 | - | - | - | - | - | - | +| 0.5569 | 1420 | 0.0382 | - | - | - | - | - | - | +| 0.5608 | 1430 | 0.0425 | - | - | - | - | - | - | +| 0.5647 | 1440 | 0.0257 | - | - | - | - | - | - | +| 0.5686 | 1450 | 0.0545 | - | - | - | - | - | - | +| 0.5725 | 1460 | 0.0167 | - | - | - | - | - | - | +| 0.5765 | 1470 | 0.0283 | - | - | - | - | - | - | +| 0.5804 | 1480 | 0.0588 | - | - | - | - | - | - | +| 0.5843 | 1490 | 0.0161 | - | - | - | - | - | - | +| 0.5882 | 1500 | 0.0633 | - | - | - | - | - | - | +| 0.5922 | 1510 | 0.4425 | - | - | - | - | - | - | +| 0.5961 | 1520 | 0.0391 | - | - | - | - | - | - | +| 0.6 | 1530 | 0.0007 | - | - | - | - | - | - | +| 0.6039 | 1540 | 0.6641 | - | - | - | - | - | - | +| 0.6078 | 1550 | 0.2285 | - | - | - | - | - | - | +| 0.6118 | 1560 | 0.0185 | - | - | - | - | - | - | +| 0.6157 | 1570 | 0.0144 | - | - | - | - | - | - | +| 0.6196 | 1580 | 0.0626 | - | - | - | - | - | - | +| 0.6235 | 1590 | 0.0358 | - | - | - | - | - | - | +| 0.6275 | 1600 | 0.0019 | - | - | - | - | - | - | +| 0.6314 | 1610 | 0.0129 | - | - | - | - | - | - | +| 0.6353 | 1620 | 0.0386 | - | - | - | - | - | - | +| 0.6392 | 1630 | 0.3626 | - | - | - | - | - | - | +| 0.6431 | 1640 | 0.1427 | - | - | - | - | - | - | +| 0.6471 | 1650 | 0.1781 | - | - | - | - | - | - | +| 0.6510 | 1660 | 0.048 | - | - | - | - | - | - | +| 0.6549 | 1670 | 0.0172 | - | - | - | - | - | - | +| 0.6588 | 1680 | 0.0079 | - | - | - | - | - | - | +| 0.6627 | 1690 | 0.0002 | - | - | - | - | - | - | +| 0.6667 | 1700 | 0.3644 | - | - | - | - | - | - | +| 0.6706 | 1710 | 0.627 | - | - | - | - | - | - | +| 0.6745 | 1720 | 0.0439 | - | - | - | - | - | - | +| 0.6784 | 1730 | 0.0116 | - | - | - | - | - | - | +| 0.6824 | 1740 | 0.3933 | - | - | - | - | - | - | +| 0.6863 | 1750 | 0.7118 | - | - | - | - | - | - | +| 0.6902 | 1760 | 0.1746 | - | - | - | - | - | - | +| 0.6941 | 1770 | 0.1272 | - | - | - | - | - | - | +| 0.6980 | 1780 | 0.3281 | - | - | - | - | - | - | +| 0.7020 | 1790 | 0.1582 | - | - | - | - | - | - | +| 0.7059 | 1800 | 0.2731 | - | - | - | - | - | - | +| 0.7098 | 1810 | 0.3034 | - | - | - | - | - | - | +| 0.7137 | 1820 | 0.0662 | - | - | - | - | - | - | +| 0.7176 | 1830 | 0.0078 | - | - | - | - | - | - | +| 0.7216 | 1840 | 0.0035 | - | - | - | - | - | - | +| 0.7255 | 1850 | 1.0808 | - | - | - | - | - | - | +| 0.7294 | 1860 | 0.0029 | - | - | - | - | - | - | +| 0.7333 | 1870 | 0.0049 | - | - | - | - | - | - | +| 0.7373 | 1880 | 0.0572 | - | - | - | - | - | - | +| 0.7412 | 1890 | 0.1218 | - | - | - | - | - | - | +| 0.7451 | 1900 | 0.0001 | - | - | - | - | - | - | +| 0.7490 | 1910 | 0.0529 | - | - | - | - | - | - | +| 0.7529 | 1920 | 0.009 | - | - | - | - | - | - | +| 0.7569 | 1930 | 0.3819 | - | - | - | - | - | - | +| 0.7608 | 1940 | 0.0084 | - | - | - | - | - | - | +| 0.7647 | 1950 | 0.0242 | - | - | - | - | - | - | +| 0.7686 | 1960 | 0.0056 | - | - | - | - | - | - | +| 0.7725 | 1970 | 0.0162 | - | - | - | - | - | - | +| 0.7765 | 1980 | 0.0431 | - | - | - | - | - | - | +| 0.7804 | 1990 | 0.0188 | - | - | - | - | - | - | +| 0.7843 | 2000 | 0.0058 | - | - | - | - | - | - | +| 0.7882 | 2010 | 0.425 | - | - | - | - | - | - | +| 0.7922 | 2020 | 0.009 | - | - | - | - | - | - | +| 0.7961 | 2030 | 0.619 | - | - | - | - | - | - | +| 0.8 | 2040 | 0.7128 | - | - | - | - | - | - | +| 0.8039 | 2050 | 0.0022 | - | - | - | - | - | - | +| 0.8078 | 2060 | 0.0095 | - | - | - | - | - | - | +| 0.8118 | 2070 | 0.0123 | - | - | - | - | - | - | +| 0.8157 | 2080 | 0.0013 | - | - | - | - | - | - | +| 0.8196 | 2090 | 0.1557 | - | - | - | - | - | - | +| 0.8235 | 2100 | 0.0629 | - | - | - | - | - | - | +| 0.8275 | 2110 | 0.0033 | - | - | - | - | - | - | +| 0.8314 | 2120 | 0.037 | - | - | - | - | - | - | +| 0.8353 | 2130 | 0.011 | - | - | - | - | - | - | +| 0.8392 | 2140 | 0.6761 | - | - | - | - | - | - | +| 0.8431 | 2150 | 0.0051 | - | - | - | - | - | - | +| 0.8471 | 2160 | 0.0201 | - | - | - | - | - | - | +| 0.8510 | 2170 | 0.1053 | - | - | - | - | - | - | +| 0.8549 | 2180 | 0.0054 | - | - | - | - | - | - | +| 0.8588 | 2190 | 0.1033 | - | - | - | - | - | - | +| 0.8627 | 2200 | 0.0436 | - | - | - | - | - | - | +| 0.8667 | 2210 | 0.0386 | - | - | - | - | - | - | +| 0.8706 | 2220 | 0.1732 | - | - | - | - | - | - | +| 0.8745 | 2230 | 0.2371 | - | - | - | - | - | - | +| 0.8784 | 2240 | 0.026 | - | - | - | - | - | - | +| 0.8824 | 2250 | 0.0084 | - | - | - | - | - | - | +| 0.8863 | 2260 | 0.2233 | - | - | - | - | - | - | +| 0.8902 | 2270 | 0.0068 | - | - | - | - | - | - | +| 0.8941 | 2280 | 0.266 | - | - | - | - | - | - | +| 0.8980 | 2290 | 0.0061 | - | - | - | - | - | - | +| 0.9020 | 2300 | 0.092 | - | - | - | - | - | - | +| 0.9059 | 2310 | 0.4521 | - | - | - | - | - | - | +| 0.9098 | 2320 | 0.1647 | - | - | - | - | - | - | +| 0.9137 | 2330 | 0.1101 | - | - | - | - | - | - | +| 0.9176 | 2340 | 0.0259 | - | - | - | - | - | - | +| 0.9216 | 2350 | 0.2363 | - | - | - | - | - | - | +| 0.9255 | 2360 | 0.358 | - | - | - | - | - | - | +| 0.9294 | 2370 | 0.0037 | - | - | - | - | - | - | +| 0.9333 | 2380 | 0.2897 | - | - | - | - | - | - | +| 0.9373 | 2390 | 0.2985 | - | - | - | - | - | - | +| 0.9412 | 2400 | 0.0141 | - | - | - | - | - | - | +| 0.9451 | 2410 | 0.0233 | - | - | - | - | - | - | +| 0.9490 | 2420 | 0.0672 | - | - | - | - | - | - | +| 0.9529 | 2430 | 0.0003 | - | - | - | - | - | - | +| 0.9569 | 2440 | 0.0011 | - | - | - | - | - | - | +| 0.9608 | 2450 | 0.0609 | - | - | - | - | - | - | +| 0.9647 | 2460 | 0.0468 | - | - | - | - | - | - | +| 0.9686 | 2470 | 0.0005 | - | - | - | - | - | - | +| 0.9725 | 2480 | 0.0069 | - | - | - | - | - | - | +| 0.9765 | 2490 | 0.0561 | - | - | - | - | - | - | +| 0.9804 | 2500 | 0.2674 | - | - | - | - | - | - | +| 0.9843 | 2510 | 0.2024 | - | - | - | - | - | - | +| 0.9882 | 2520 | 0.0221 | - | - | - | - | - | - | +| 0.9922 | 2530 | 0.0171 | - | - | - | - | - | - | +| 0.9961 | 2540 | 0.1319 | - | - | - | - | - | - | +| 1.0 | 2550 | 0.0078 | 0.0739 | 0.5708 | 0.5941 | 0.6055 | 0.5373 | 0.6064 | +| 1.0039 | 2560 | 0.0125 | - | - | - | - | - | - | +| 1.0078 | 2570 | 0.2353 | - | - | - | - | - | - | +| 1.0118 | 2580 | 0.0398 | - | - | - | - | - | - | +| 1.0157 | 2590 | 0.0303 | - | - | - | - | - | - | +| 1.0196 | 2600 | 0.0168 | - | - | - | - | - | - | +| 1.0235 | 2610 | 0.0006 | - | - | - | - | - | - | +| 1.0275 | 2620 | 0.0004 | - | - | - | - | - | - | +| 1.0314 | 2630 | 0.4641 | - | - | - | - | - | - | +| 1.0353 | 2640 | 0.0001 | - | - | - | - | - | - | +| 1.0392 | 2650 | 0.132 | - | - | - | - | - | - | +| 1.0431 | 2660 | 0.001 | - | - | - | - | - | - | +| 1.0471 | 2670 | 0.6171 | - | - | - | - | - | - | +| 1.0510 | 2680 | 0.0305 | - | - | - | - | - | - | +| 1.0549 | 2690 | 0.1392 | - | - | - | - | - | - | +| 1.0588 | 2700 | 0.0348 | - | - | - | - | - | - | +| 1.0627 | 2710 | 0.0339 | - | - | - | - | - | - | +| 1.0667 | 2720 | 0.0065 | - | - | - | - | - | - | +| 1.0706 | 2730 | 0.2032 | - | - | - | - | - | - | +| 1.0745 | 2740 | 0.0001 | - | - | - | - | - | - | +| 1.0784 | 2750 | 0.3332 | - | - | - | - | - | - | +| 1.0824 | 2760 | 0.0308 | - | - | - | - | - | - | +| 1.0863 | 2770 | 0.3364 | - | - | - | - | - | - | +| 1.0902 | 2780 | 0.0002 | - | - | - | - | - | - | +| 1.0941 | 2790 | 0.0006 | - | - | - | - | - | - | +| 1.0980 | 2800 | 0.0001 | - | - | - | - | - | - | +| 1.1020 | 2810 | 0.0006 | - | - | - | - | - | - | +| 1.1059 | 2820 | 0.01 | - | - | - | - | - | - | +| 1.1098 | 2830 | 0.5723 | - | - | - | - | - | - | +| 1.1137 | 2840 | 0.0029 | - | - | - | - | - | - | +| 1.1176 | 2850 | 0.0087 | - | - | - | - | - | - | +| 1.1216 | 2860 | 0.0003 | - | - | - | - | - | - | +| 1.1255 | 2870 | 0.043 | - | - | - | - | - | - | +| 1.1294 | 2880 | 0.0006 | - | - | - | - | - | - | +| 1.1333 | 2890 | 0.0155 | - | - | - | - | - | - | +| 1.1373 | 2900 | 0.0081 | - | - | - | - | - | - | +| 1.1412 | 2910 | 0.0001 | - | - | - | - | - | - | +| 1.1451 | 2920 | 0.0303 | - | - | - | - | - | - | +| 1.1490 | 2930 | 0.0045 | - | - | - | - | - | - | +| 1.1529 | 2940 | 0.0006 | - | - | - | - | - | - | +| 1.1569 | 2950 | 0.0006 | - | - | - | - | - | - | +| 1.1608 | 2960 | 0.0434 | - | - | - | - | - | - | +| 1.1647 | 2970 | 0.029 | - | - | - | - | - | - | +| 1.1686 | 2980 | 0.0004 | - | - | - | - | - | - | +| 1.1725 | 2990 | 0.0039 | - | - | - | - | - | - | +| 1.1765 | 3000 | 0.0003 | - | - | - | - | - | - | +| 1.1804 | 3010 | 0.2161 | - | - | - | - | - | - | +| 1.1843 | 3020 | 0.0001 | - | - | - | - | - | - | +| 1.1882 | 3030 | 0.0022 | - | - | - | - | - | - | +| 1.1922 | 3040 | 0.0005 | - | - | - | - | - | - | +| 1.1961 | 3050 | 0.0008 | - | - | - | - | - | - | +| 1.2 | 3060 | 0.0928 | - | - | - | - | - | - | +| 1.2039 | 3070 | 0.0003 | - | - | - | - | - | - | +| 1.2078 | 3080 | 0.0007 | - | - | - | - | - | - | +| 1.2118 | 3090 | 0.0013 | - | - | - | - | - | - | +| 1.2157 | 3100 | 0.0009 | - | - | - | - | - | - | +| 1.2196 | 3110 | 0.0758 | - | - | - | - | - | - | +| 1.2235 | 3120 | 0.0002 | - | - | - | - | - | - | +| 1.2275 | 3130 | 0.0002 | - | - | - | - | - | - | +| 1.2314 | 3140 | 0.0002 | - | - | - | - | - | - | +| 1.2353 | 3150 | 0.0165 | - | - | - | - | - | - | +| 1.2392 | 3160 | 0.0053 | - | - | - | - | - | - | +| 1.2431 | 3170 | 0.0084 | - | - | - | - | - | - | +| 1.2471 | 3180 | 0.0006 | - | - | - | - | - | - | +| 1.2510 | 3190 | 0.0513 | - | - | - | - | - | - | +| 1.2549 | 3200 | 0.0011 | - | - | - | - | - | - | +| 1.2588 | 3210 | 0.0043 | - | - | - | - | - | - | +| 1.2627 | 3220 | 0.0 | - | - | - | - | - | - | +| 1.2667 | 3230 | 0.0006 | - | - | - | - | - | - | +| 1.2706 | 3240 | 0.0012 | - | - | - | - | - | - | +| 1.2745 | 3250 | 0.0025 | - | - | - | - | - | - | +| 1.2784 | 3260 | 0.0003 | - | - | - | - | - | - | +| 1.2824 | 3270 | 0.0003 | - | - | - | - | - | - | +| 1.2863 | 3280 | 0.0033 | - | - | - | - | - | - | +| 1.2902 | 3290 | 0.002 | - | - | - | - | - | - | +| 1.2941 | 3300 | 0.0 | - | - | - | - | - | - | +| 1.2980 | 3310 | 0.004 | - | - | - | - | - | - | +| 1.3020 | 3320 | 0.0002 | - | - | - | - | - | - | +| 1.3059 | 3330 | 0.0071 | - | - | - | - | - | - | +| 1.3098 | 3340 | 0.0001 | - | - | - | - | - | - | +| 1.3137 | 3350 | 0.0006 | - | - | - | - | - | - | +| 1.3176 | 3360 | 0.0012 | - | - | - | - | - | - | +| 1.3216 | 3370 | 0.0 | - | - | - | - | - | - | +| 1.3255 | 3380 | 0.0055 | - | - | - | - | - | - | +| 1.3294 | 3390 | 0.0005 | - | - | - | - | - | - | +| 1.3333 | 3400 | 0.0 | - | - | - | - | - | - | +| 1.3373 | 3410 | 0.0001 | - | - | - | - | - | - | +| 1.3412 | 3420 | 0.001 | - | - | - | - | - | - | +| 1.3451 | 3430 | 0.0033 | - | - | - | - | - | - | +| 1.3490 | 3440 | 0.001 | - | - | - | - | - | - | +| 1.3529 | 3450 | 0.0 | - | - | - | - | - | - | +| 1.3569 | 3460 | 0.0007 | - | - | - | - | - | - | +| 1.3608 | 3470 | 0.0 | - | - | - | - | - | - | +| 1.3647 | 3480 | 0.0024 | - | - | - | - | - | - | +| 1.3686 | 3490 | 0.0001 | - | - | - | - | - | - | +| 1.3725 | 3500 | 0.025 | - | - | - | - | - | - | +| 1.3765 | 3510 | 0.0028 | - | - | - | - | - | - | +| 1.3804 | 3520 | 0.004 | - | - | - | - | - | - | +| 1.3843 | 3530 | 0.0 | - | - | - | - | - | - | +| 1.3882 | 3540 | 0.2503 | - | - | - | - | - | - | +| 1.3922 | 3550 | 0.0004 | - | - | - | - | - | - | +| 1.3961 | 3560 | 0.0001 | - | - | - | - | - | - | +| 1.4 | 3570 | 0.0002 | - | - | - | - | - | - | +| 1.4039 | 3580 | 0.0003 | - | - | - | - | - | - | +| 1.4078 | 3590 | 0.0008 | - | - | - | - | - | - | +| 1.4118 | 3600 | 0.0016 | - | - | - | - | - | - | +| 1.4157 | 3610 | 0.0007 | - | - | - | - | - | - | +| 1.4196 | 3620 | 0.0009 | - | - | - | - | - | - | +| 1.4235 | 3630 | 0.0 | - | - | - | - | - | - | +| 1.4275 | 3640 | 0.0 | - | - | - | - | - | - | +| 1.4314 | 3650 | 0.0001 | - | - | - | - | - | - | +| 1.4353 | 3660 | 0.0002 | - | - | - | - | - | - | +| 1.4392 | 3670 | 0.0005 | - | - | - | - | - | - | +| 1.4431 | 3680 | 0.0003 | - | - | - | - | - | - | +| 1.4471 | 3690 | 0.0003 | - | - | - | - | - | - | +| 1.4510 | 3700 | 0.0011 | - | - | - | - | - | - | +| 1.4549 | 3710 | 0.001 | - | - | - | - | - | - | +| 1.4588 | 3720 | 0.0005 | - | - | - | - | - | - | +| 1.4627 | 3730 | 0.0022 | - | - | - | - | - | - | +| 1.4667 | 3740 | 0.0 | - | - | - | - | - | - | +| 1.4706 | 3750 | 0.0007 | - | - | - | - | - | - | +| 1.4745 | 3760 | 0.0016 | - | - | - | - | - | - | +| 1.4784 | 3770 | 0.0086 | - | - | - | - | - | - | +| 1.4824 | 3780 | 0.0824 | - | - | - | - | - | - | +| 1.4863 | 3790 | 0.0001 | - | - | - | - | - | - | +| 1.4902 | 3800 | 0.0084 | - | - | - | - | - | - | +| 1.4941 | 3810 | 0.0001 | - | - | - | - | - | - | +| 1.4980 | 3820 | 0.0037 | - | - | - | - | - | - | +| 1.5020 | 3830 | 0.0 | - | - | - | - | - | - | +| 1.5059 | 3840 | 0.0 | - | - | - | - | - | - | +| 1.5098 | 3850 | 0.1319 | - | - | - | - | - | - | +| 1.5137 | 3860 | 0.0013 | - | - | - | - | - | - | +| 1.5176 | 3870 | 0.0004 | - | - | - | - | - | - | +| 1.5216 | 3880 | 0.0001 | - | - | - | - | - | - | +| 1.5255 | 3890 | 0.0071 | - | - | - | - | - | - | +| 1.5294 | 3900 | 0.0013 | - | - | - | - | - | - | +| 1.5333 | 3910 | 0.0001 | - | - | - | - | - | - | +| 1.5373 | 3920 | 0.0002 | - | - | - | - | - | - | +| 1.5412 | 3930 | 0.0 | - | - | - | - | - | - | +| 1.5451 | 3940 | 0.0038 | - | - | - | - | - | - | +| 1.5490 | 3950 | 0.0 | - | - | - | - | - | - | +| 1.5529 | 3960 | 0.0023 | - | - | - | - | - | - | +| 1.5569 | 3970 | 0.0005 | - | - | - | - | - | - | +| 1.5608 | 3980 | 0.0037 | - | - | - | - | - | - | +| 1.5647 | 3990 | 0.0001 | - | - | - | - | - | - | +| 1.5686 | 4000 | 0.0004 | - | - | - | - | - | - | +| 1.5725 | 4010 | 0.0009 | - | - | - | - | - | - | +| 1.5765 | 4020 | 0.0468 | - | - | - | - | - | - | +| 1.5804 | 4030 | 0.013 | - | - | - | - | - | - | +| 1.5843 | 4040 | 0.0015 | - | - | - | - | - | - | +| 1.5882 | 4050 | 0.0 | - | - | - | - | - | - | +| 1.5922 | 4060 | 0.0012 | - | - | - | - | - | - | +| 1.5961 | 4070 | 0.0 | - | - | - | - | - | - | +| 1.6 | 4080 | 0.0 | - | - | - | - | - | - | +| 1.6039 | 4090 | 0.0012 | - | - | - | - | - | - | +| 1.6078 | 4100 | 0.1019 | - | - | - | - | - | - | +| 1.6118 | 4110 | 0.0004 | - | - | - | - | - | - | +| 1.6157 | 4120 | 0.0006 | - | - | - | - | - | - | +| 1.6196 | 4130 | 0.0 | - | - | - | - | - | - | +| 1.6235 | 4140 | 0.0008 | - | - | - | - | - | - | +| 1.6275 | 4150 | 0.0 | - | - | - | - | - | - | +| 1.6314 | 4160 | 0.0 | - | - | - | - | - | - | +| 1.6353 | 4170 | 0.0004 | - | - | - | - | - | - | +| 1.6392 | 4180 | 0.0028 | - | - | - | - | - | - | +| 1.6431 | 4190 | 0.0007 | - | - | - | - | - | - | +| 1.6471 | 4200 | 0.0001 | - | - | - | - | - | - | +| 1.6510 | 4210 | 0.0007 | - | - | - | - | - | - | +| 1.6549 | 4220 | 0.0 | - | - | - | - | - | - | +| 1.6588 | 4230 | 0.0001 | - | - | - | - | - | - | +| 1.6627 | 4240 | 0.0002 | - | - | - | - | - | - | +| 1.6667 | 4250 | 0.0123 | - | - | - | - | - | - | +| 1.6706 | 4260 | 0.0077 | - | - | - | - | - | - | +| 1.6745 | 4270 | 0.0001 | - | - | - | - | - | - | +| 1.6784 | 4280 | 0.0004 | - | - | - | - | - | - | +| 1.6824 | 4290 | 0.0169 | - | - | - | - | - | - | +| 1.6863 | 4300 | 0.0001 | - | - | - | - | - | - | +| 1.6902 | 4310 | 0.0014 | - | - | - | - | - | - | +| 1.6941 | 4320 | 0.0001 | - | - | - | - | - | - | +| 1.6980 | 4330 | 0.001 | - | - | - | - | - | - | +| 1.7020 | 4340 | 0.0017 | - | - | - | - | - | - | +| 1.7059 | 4350 | 0.001 | - | - | - | - | - | - | +| 1.7098 | 4360 | 0.0003 | - | - | - | - | - | - | +| 1.7137 | 4370 | 0.0001 | - | - | - | - | - | - | +| 1.7176 | 4380 | 0.0017 | - | - | - | - | - | - | +| 1.7216 | 4390 | 0.0001 | - | - | - | - | - | - | +| 1.7255 | 4400 | 0.0008 | - | - | - | - | - | - | +| 1.7294 | 4410 | 0.0003 | - | - | - | - | - | - | +| 1.7333 | 4420 | 0.0003 | - | - | - | - | - | - | +| 1.7373 | 4430 | 0.0 | - | - | - | - | - | - | +| 1.7412 | 4440 | 0.0005 | - | - | - | - | - | - | +| 1.7451 | 4450 | 0.0 | - | - | - | - | - | - | +| 1.7490 | 4460 | 0.0057 | - | - | - | - | - | - | +| 1.7529 | 4470 | 0.0001 | - | - | - | - | - | - | +| 1.7569 | 4480 | 0.0003 | - | - | - | - | - | - | +| 1.7608 | 4490 | 0.0 | - | - | - | - | - | - | +| 1.7647 | 4500 | 0.0021 | - | - | - | - | - | - | +| 1.7686 | 4510 | 0.0002 | - | - | - | - | - | - | +| 1.7725 | 4520 | 0.0016 | - | - | - | - | - | - | +| 1.7765 | 4530 | 0.0003 | - | - | - | - | - | - | +| 1.7804 | 4540 | 0.0001 | - | - | - | - | - | - | +| 1.7843 | 4550 | 0.0002 | - | - | - | - | - | - | +| 1.7882 | 4560 | 0.0007 | - | - | - | - | - | - | +| 1.7922 | 4570 | 0.0001 | - | - | - | - | - | - | +| 1.7961 | 4580 | 0.0736 | - | - | - | - | - | - | +| 1.8 | 4590 | 0.0341 | - | - | - | - | - | - | +| 1.8039 | 4600 | 0.0 | - | - | - | - | - | - | +| 1.8078 | 4610 | 0.0002 | - | - | - | - | - | - | +| 1.8118 | 4620 | 0.0001 | - | - | - | - | - | - | +| 1.8157 | 4630 | 0.0001 | - | - | - | - | - | - | +| 1.8196 | 4640 | 0.001 | - | - | - | - | - | - | +| 1.8235 | 4650 | 0.0018 | - | - | - | - | - | - | +| 1.8275 | 4660 | 0.0 | - | - | - | - | - | - | +| 1.8314 | 4670 | 0.0003 | - | - | - | - | - | - | +| 1.8353 | 4680 | 0.0004 | - | - | - | - | - | - | +| 1.8392 | 4690 | 0.0002 | - | - | - | - | - | - | +| 1.8431 | 4700 | 0.0001 | - | - | - | - | - | - | +| 1.8471 | 4710 | 0.0 | - | - | - | - | - | - | +| 1.8510 | 4720 | 0.0 | - | - | - | - | - | - | +| 1.8549 | 4730 | 0.0001 | - | - | - | - | - | - | +| 1.8588 | 4740 | 0.0034 | - | - | - | - | - | - | +| 1.8627 | 4750 | 0.0 | - | - | - | - | - | - | +| 1.8667 | 4760 | 0.0001 | - | - | - | - | - | - | +| 1.8706 | 4770 | 0.0042 | - | - | - | - | - | - | +| 1.8745 | 4780 | 0.0019 | - | - | - | - | - | - | +| 1.8784 | 4790 | 0.0008 | - | - | - | - | - | - | +| 1.8824 | 4800 | 0.0003 | - | - | - | - | - | - | +| 1.8863 | 4810 | 0.0002 | - | - | - | - | - | - | +| 1.8902 | 4820 | 0.0 | - | - | - | - | - | - | +| 1.8941 | 4830 | 0.0914 | - | - | - | - | - | - | +| 1.8980 | 4840 | 0.0 | - | - | - | - | - | - | +| 1.9020 | 4850 | 0.0035 | - | - | - | - | - | - | +| 1.9059 | 4860 | 0.0018 | - | - | - | - | - | - | +| 1.9098 | 4870 | 0.0001 | - | - | - | - | - | - | +| 1.9137 | 4880 | 0.0003 | - | - | - | - | - | - | +| 1.9176 | 4890 | 0.0005 | - | - | - | - | - | - | +| 1.9216 | 4900 | 0.018 | - | - | - | - | - | - | +| 1.9255 | 4910 | 0.0524 | - | - | - | - | - | - | +| 1.9294 | 4920 | 0.0001 | - | - | - | - | - | - | +| 1.9333 | 4930 | 0.0107 | - | - | - | - | - | - | +| 1.9373 | 4940 | 0.0895 | - | - | - | - | - | - | +| 1.9412 | 4950 | 0.0002 | - | - | - | - | - | - | +| 1.9451 | 4960 | 0.0 | - | - | - | - | - | - | +| 1.9490 | 4970 | 0.0002 | - | - | - | - | - | - | +| 1.9529 | 4980 | 0.0001 | - | - | - | - | - | - | +| 1.9569 | 4990 | 0.0 | - | - | - | - | - | - | +| 1.9608 | 5000 | 0.0001 | - | - | - | - | - | - | +| 1.9647 | 5010 | 0.0101 | - | - | - | - | - | - | +| 1.9686 | 5020 | 0.0 | - | - | - | - | - | - | +| 1.9725 | 5030 | 0.0001 | - | - | - | - | - | - | +| 1.9765 | 5040 | 0.0001 | - | - | - | - | - | - | +| 1.9804 | 5050 | 0.3165 | - | - | - | - | - | - | +| 1.9843 | 5060 | 0.0068 | - | - | - | - | - | - | +| 1.9882 | 5070 | 0.0003 | - | - | - | - | - | - | +| 1.9922 | 5080 | 0.0001 | - | - | - | - | - | - | +| 1.9961 | 5090 | 0.0022 | - | - | - | - | - | - | +| **2.0** | **5100** | **0.0** | **0.0734** | **0.5999** | **0.6171** | **0.6201** | **0.5766** | **0.6234** | + +* The bold row denotes the saved checkpoint. +
+ +### Framework Versions +- Python: 3.10.13 +- Sentence Transformers: 3.0.1 +- Transformers: 4.41.2 +- PyTorch: 2.1.2 +- Accelerate: 0.29.3 +- Datasets: 2.19.1 +- Tokenizers: 0.19.1 + +## Citation + +### BibTeX + +#### Sentence Transformers +```bibtex +@inproceedings{reimers-2019-sentence-bert, + title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks", + author = "Reimers, Nils and Gurevych, Iryna", + booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing", + month = "11", + year = "2019", + publisher = "Association for Computational Linguistics", + url = "https://arxiv.org/abs/1908.10084", +} +``` + +#### MatryoshkaLoss +```bibtex +@misc{kusupati2024matryoshka, + title={Matryoshka Representation Learning}, + author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi}, + year={2024}, + eprint={2205.13147}, + archivePrefix={arXiv}, + primaryClass={cs.LG} +} +``` + +#### MultipleNegativesRankingLoss +```bibtex +@misc{henderson2017efficient, + title={Efficient Natural Language Response Suggestion for Smart Reply}, + author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil}, + year={2017}, + eprint={1705.00652}, + archivePrefix={arXiv}, + primaryClass={cs.CL} +} +``` + + + + + + \ No newline at end of file