File size: 63,272 Bytes
06e0b7a |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 534 535 536 537 538 539 540 541 542 543 544 545 546 547 548 549 550 551 552 553 554 555 556 557 558 559 560 561 562 563 564 565 566 567 568 569 570 571 572 573 574 575 576 577 578 579 580 581 582 583 584 585 586 587 588 589 590 591 592 593 594 595 596 597 598 599 600 601 602 603 604 605 606 607 608 609 610 611 612 613 614 615 616 617 618 619 620 621 622 623 624 625 626 627 628 629 630 631 632 633 634 635 636 637 638 639 640 641 642 643 644 645 646 647 648 649 650 651 652 653 654 655 656 657 658 659 660 661 662 663 664 665 666 667 668 669 670 671 672 673 674 675 676 677 678 679 680 681 682 683 684 685 686 687 688 689 690 691 692 693 694 695 696 697 698 699 700 701 702 703 704 705 706 707 708 709 710 711 712 713 714 715 716 717 718 719 720 721 722 723 724 725 726 727 728 729 730 731 732 733 734 735 736 737 738 739 740 741 742 743 744 745 746 747 748 749 750 751 752 753 754 755 756 757 758 759 760 761 762 763 764 765 766 767 768 769 770 771 772 773 774 775 776 777 778 779 780 781 782 783 784 785 786 787 788 789 790 791 792 793 794 795 796 797 798 799 800 801 802 803 804 805 806 807 808 809 810 811 812 813 814 815 816 817 818 819 820 821 822 823 824 825 826 827 828 829 830 831 832 833 834 835 836 837 838 839 840 841 842 843 844 845 846 847 848 849 850 851 852 853 854 855 856 857 858 859 860 861 862 863 864 865 866 867 868 869 870 871 872 873 874 875 876 877 878 879 880 881 882 883 884 885 886 887 888 889 890 891 892 893 894 895 896 897 898 899 900 901 902 903 904 905 906 907 908 909 910 911 912 913 914 915 916 917 918 919 920 921 922 923 924 925 926 927 |
---
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:107510
- loss:MatryoshkaLoss
- loss:MultipleNegativesRankingLoss
base_model: bkai-foundation-models/vietnamese-bi-encoder
widget:
- source_sentence: '[''Hình thức xử phạt và thời hiệu xử phạt vi phạm hành chính\n...\n4.
Thời hiệu xử phạt vi phạm hành chính đối với lĩnh vực kinh doanh xổ số:\na) Thời
hiệu xử phạt vi phạm hành chính trong lĩnh vực kinh doanh xổ số là 01 năm.\nb)
Đối với hành vi vi phạm hành chính trong lĩnh vực kinh doanh xổ số đang được thực
hiện thì thời hiệu được tính từ ngày người có thẩm quyền thi hành công vụ phát
hiện hành vi vi phạm. Đối với hành vi vi phạm hành chính đã kết thúc thì thời
hiệu được tính từ ngày chấm dứt hành vi vi phạm. Thời điểm chấm dứt hành vi vi
phạm để tính thời hiệu xử phạt đối với một số hành vi vi phạm tại Chương 3 Nghị
định này được quy định như sau:\n- Đối với hành vi sửa chữa, tẩy xoá làm thay
đổi nội dung Giấy chứng nhận đủ điều kiện kinh doanh, các tài liệu trong hồ sơ
đã được làm đại lý xổ số quy định tại khoản 1 Điều 35 và khoản 1 Điều 41 Nghị
định này nếu không xác định được ngày sửa chữa, tẩy xoá làm thay đổi nội dung
Giấy chứng nhận đủ điều kiện kinh doanh, các tài liệu trong hồ sơ đã được làm
đại lý xổ số thì thời điểm chấm dứt hành vi vi phạm là ngày phát hiện Giấy chứng
nhận đủ điều kiện kinh doanh bị sửa chữa, tẩy xóa làm thay đổi nội dung;\n- Đối
với hành vi không xây dựng và ban hành quy chế quy định chi tiết quy trình tổ
chức thu hồi vé xổ số không tiêu thụ hết, không xây dựng và công bố công khai
thể lệ quay số mở thưởng, không ban hành Quy chế quản lý, khai thác dữ liệu máy
chủ kinh doanh xổ số điện toán quy định tại khoản 1 Điều 40, khoản 1 Điều 44 và
khoản 1 Điều 49 Nghị định này, thời điểm chấm dứt hành vi vi phạm là ngày thực
hiện ban hành quy chế quy định chi tiết quy trình tổ chức thu hồi vé xổ số không
tiêu thụ hết, công bố công khai thể lệ quay số mở thưởng, ban hành Quy chế quản
lý, khai thác dữ liệu máy chủ kinh doanh xổ số điện toán;\n- Đối với hành vi vi
phạm quy định về chế độ báo cáo quy định tại Điều 51 Nghị định này, thời điểm
chấm dứt hành vi vi phạm là ngày thực hiện báo cáo.'']'
sentences:
- Hình thức đấu giá bằng bỏ phiếu gián tiếp được pháp luật quy định như thế nào?
- Thường trực Hội đồng tư vấn đặc xá là cơ quan nào?
- Thời hiệu xử phạt cơ sở kinh doanh xổ số phát hành vé xổ số quá hạn mức là bao
lâu?
- source_sentence: "['Thanh lý hợp đồng thực hiện nhiệm vụ\\nCăn cứ Hồ sơ đề nghị\
\ nghiệm thu, thanh lý hợp đồng thực hiện nhiệm vụ của cơ quan chủ trì thực hiện,\
\ việc thanh lý hợp đồng đã ký kết trong thời hạn 10 ngày được thực hiện kể từ\
\ ngày cơ quan quản lý nhiệm vụ tiếp nhận đầy đủ sản phẩm đã được chỉnh sửa theo\
\ ý kiến của Hội đồng nghiệm thu nhiệm vụ cấp Bộ.\\nĐối với các nhiệm vụ thường\
\ xuyên hàng năm quy định tại điểm b, điểm h, điểm k khoản 1 Điều 3 Thông tư này\
\ được cơ quan quản lý nhiệm vụ xác nhận hoàn thành thì văn bản xác nhận hoàn\
\ thành nhiệm vụ là căn cứ nghiệm thu, thanh lý nhiệm vụ của cơ quan chủ trì thực\
\ hiện.\\nBiên bản nghiệm thu và thanh lý hợp đồng đối với các nhiệm vụ ký hợp\
\ đồng thực hiện theo mẫu B3a-HĐMT được quy định tại mẫu B6a-BBTLMT. Biên bản\
\ nghiệm thu và thanh lý hợp đồng đối với các nhiệm vụ ký hợp đồng thực hiện theo\
\ mẫu B3b-HĐBĐKH được quy định tại mẫu B6b-BBTLBĐKH.'\n 'Thanh lý hợp đồng nhiệm\
\ vụ bảo vệ môi trường\\nCăn cứ Biên bản nghiệm thu kết quả thực hiện nhiệm vụ\
\ bảo vệ môi trường, việc thanh lý hợp đồng đã ký kết với đơn vị chủ trì trong\
\ thời hạn 10 ngày được thực hiện kể từ ngày tiếp nhận đầy đủ sản phẩm đã được\
\ chỉnh sửa theo ý kiến của Hội đồng nghiệm thu nhiệm vụ bảo vệ môi trường. Biên\
\ bản thanh lý hợp đồng được quy định tại mẫu B6a-BBTLHĐ-BCT.']"
sentences:
- Tổn thương gân chày trước chủ yếu gặp trong các vết thương ở vùng nào?
- Hội đồng Lý luận Trung ương họp mỗi quý mấy lần?
- Thời hạn thanh lý hợp đồng nhiệm vụ bảo vệ môi trường ngành Công thương sử dụng
nguồn kinh phí sự nghiệp môi trường là bao lâu?
- source_sentence: '[''Đối tượng áp dụng\n1. Cán bộ, công chức của các đơn vị thuộc
Ủy ban Dân tộc được Bộ trưởng, Chủ nhiệm Ủy ban Dân tộc (sau đây gọi tắt là Bộ
trưởng, Chủ nhiệm) giao nhiệm vụ hoặc phân công làm nhiệm vụ tiếp công dân, xử
lý đơn khiếu nại, tố cáo, kiến nghị, phản ánh tại trụ sở và các địa điểm tiếp
công dân thuộc Ủy ban Dân tộc.\n2. Bộ trưởng, Chủ nhiệm, các Thứ trưởng, Phó Chủ
nhiệm Ủy ban Dân tộc có trách nhiệm tiếp công dân định kỳ hoặc đột xuất; công
chức trong các đơn vị thuộc Ủy ban Dân tộc được Bộ trưởng, Chủ nhiệm triệu tập
làm nhiệm vụ tiếp công dân, xử lý đơn khiếu nại, tố cáo, kiến nghị, phản ánh tại
trụ sở và các địa điểm tiếp công dân thuộc Ủy ban Dân tộc.\n3. Công chức, người
tham gia tiếp công dân thuộc Ủy ban Dân tộc được Bộ trưởng, Chủ nhiệm giao nhiệm
vụ hoặc phân công phối hợp tiếp công dân, giữ gìn an ninh, trật tự, bảo đảm y
tế tại trụ sở và các địa điểm tiếp công dân của Ủy ban Dân tộc.\n4. Cán bộ, công
chức của các tổ chức thuộc Ủy ban Dân tộc được Bộ trưởng, Chủ nhiệm giao nhiệm
vụ chuyên trách xử lý đơn khiếu nại, tố cáo, kiến nghị, phản ánh.'']'
sentences:
- Công chức của đơn vị có được hưởng chế độ bồi dưỡng khi nhận nhiệm vụ tiếp công
dân tại các địa điểm tiếp công dân thuộc Ủy ban Dân tộc hay không?
- Người trúng xổ số Vietlott có được bảo mật thông tin trước đại chúng?
- Việc công bố giá trị doanh nghiệp được cơ quan đại diện chủ sở hữu thực hiện trong
thời hạn bao nhiêu ngày? Kể từ thời điểm nào?
- source_sentence: '[''Hình thức tổ chức, nội dung và chương trình đào tạo nghiệp
vụ thẩm định giá\n1. Khóa đào tạo nghiệp vụ thẩm định giá được tổ chức tập trung
một kỳ liên tục hoặc nhiều kỳ nhưng không kéo dài quá 3 (ba) tháng cho một khóa
học và phải đảm bảo dạy và học đủ thời lượng, nội dung và chương trình theo quy
định tại khoản 2 Điều này.\n...'']'
sentences:
- Thời gian áp dụng biện pháp cách ly y tế được pháp luật quy định như thế nào?
- Khi thực hiện khuyến mại cung ứng dịch vụ thông tin di động mẫu để khách hàng
dùng thử không phải trả tiền, doanh nghiệp viễn thông có cần đăng ký khuyến mại
không?
- Một khóa đào tạo nghiệp vụ thẩm định giá kéo dài bao lâu?
- source_sentence: '[''Tiêu chuẩn Chi cục trưởng, Phó Chi cục trưởng thuộc Cục Thuế\n1.
Vị trí và nhiệm vụ\na) Chi cục trưởng Chi cục Thuế là người đứng đầu Chi cục Thuế,
chịu trách nhiệm trước Cục trưởng Cục Thuế và trước pháp luật về toàn bộ hoạt
động nhiệm vụ của đơn vị được cấp có thẩm quyền giao nhiệm vụ quản lý nhà nước
trên địa bàn quận, huyện, thị xã, thành phố thuộc tỉnh.\nb) Phó Chi cục trưởng
Chi cục Thuế là người giúp việc Chi cục trưởng, chịu trách nhiệm trước Chi cục
trưởng và trước pháp luật về lĩnh vực công tác được phân công; thay mặt Chi cục
trưởng điều hành, giải quyết các công việc của Chi cục khi được Chi cục trưởng
ủy quyền, giao nhiệm vụ.'']'
sentences:
- Nhiệm vụ của Chi cục trưởng thuộc Cục Thuế như thế nào?
- Việc đánh giá chất lượng dịch vụ sự nghiệp công về xây dựng cơ sở dữ liệu được
thực hiện theo phương thức nào?
- Khoản phụ cấp chuyên cần có tính vào lương để tính tiền lương tăng ca, lương làm
thêm giờ hay không?
pipeline_tag: sentence-similarity
library_name: sentence-transformers
metrics:
- cosine_accuracy@1
- cosine_accuracy@3
- cosine_accuracy@5
- cosine_accuracy@10
- cosine_precision@1
- cosine_precision@3
- cosine_precision@5
- cosine_precision@10
- cosine_recall@1
- cosine_recall@3
- cosine_recall@5
- cosine_recall@10
- cosine_ndcg@10
- cosine_mrr@10
- cosine_map@100
model-index:
- name: SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder
results:
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: dim 768
type: dim_768
metrics:
- type: cosine_accuracy@1
value: 0.26527708019420726
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.4377197388247112
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.5174116859199732
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.6099112673698309
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.26527708019420726
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.14590657960823708
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.10348233718399463
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.060991126736983085
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.26527708019420726
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.4377197388247112
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.5174116859199732
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.6099112673698309
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.4285225723707542
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.37149118785859175
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.38082252053876386
name: Cosine Map@100
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: dim 512
type: dim_512
metrics:
- type: cosine_accuracy@1
value: 0.26586305039343716
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.43227858697471955
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.5082872928176796
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.6015402645236899
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.26586305039343716
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.1440928623249065
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.1016574585635359
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.06015402645236899
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.26586305039343716
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.43227858697471955
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.5082872928176796
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.6015402645236899
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.4244877080296015
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.36887667785457956
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.3780890557065138
name: Cosine Map@100
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: dim 256
type: dim_256
metrics:
- type: cosine_accuracy@1
value: 0.2483676544450025
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.4107651096601373
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.4801607232546459
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.5700652938222
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.2483676544450025
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.13692170322004574
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.09603214465092917
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.05700652938221999
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.2483676544450025
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.4107651096601373
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.4801607232546459
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.5700652938222
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.40061709420771235
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.34734958105124125
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.35675125361493826
name: Cosine Map@100
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: dim 128
type: dim_128
metrics:
- type: cosine_accuracy@1
value: 0.22141302528042858
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.3701657458563536
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.4385568391093253
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.5179976561192031
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.22141302528042858
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.12338858195211787
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.08771136782186506
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.051799765611920304
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.22141302528042858
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.3701657458563536
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.4385568391093253
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.5179976561192031
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.3619435400628976
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.3128400221632284
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.32179789892986727
name: Cosine Map@100
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: dim 64
type: dim_64
metrics:
- type: cosine_accuracy@1
value: 0.1616440649589821
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.27749874434957306
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.33433785367487023
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.4103465595178302
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.1616440649589821
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.09249958144985769
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.06686757073497404
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.04103465595178302
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.1616440649589821
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.27749874434957306
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.33433785367487023
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.4103465595178302
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.27713659801328827
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.23557945277558567
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.24398402076434567
name: Cosine Map@100
---
# SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) <!-- at revision 84f9d9ada0d1a3c37557398b9ae9fcedcdf40be0 -->
- **Maximum Sequence Length:** 256 tokens
- **Output Dimensionality:** 768 tokens
- **Similarity Function:** Cosine Similarity
- **Training Dataset:**
- json
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("minhdang/bge-base-financial-matryoshka")
# Run inference
sentences = [
"['Tiêu chuẩn Chi cục trưởng, Phó Chi cục trưởng thuộc Cục Thuế\\n1. Vị trí và nhiệm vụ\\na) Chi cục trưởng Chi cục Thuế là người đứng đầu Chi cục Thuế, chịu trách nhiệm trước Cục trưởng Cục Thuế và trước pháp luật về toàn bộ hoạt động nhiệm vụ của đơn vị được cấp có thẩm quyền giao nhiệm vụ quản lý nhà nước trên địa bàn quận, huyện, thị xã, thành phố thuộc tỉnh.\\nb) Phó Chi cục trưởng Chi cục Thuế là người giúp việc Chi cục trưởng, chịu trách nhiệm trước Chi cục trưởng và trước pháp luật về lĩnh vực công tác được phân công; thay mặt Chi cục trưởng điều hành, giải quyết các công việc của Chi cục khi được Chi cục trưởng ủy quyền, giao nhiệm vụ.']",
'Nhiệm vụ của Chi cục trưởng thuộc Cục Thuế như thế nào?',
'Khoản phụ cấp chuyên cần có tính vào lương để tính tiền lương tăng ca, lương làm thêm giờ hay không?',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```
<!--
### Direct Usage (Transformers)
<details><summary>Click to see the direct usage in Transformers</summary>
</details>
-->
<!--
### Downstream Usage (Sentence Transformers)
You can finetune this model on your own dataset.
<details><summary>Click to expand</summary>
</details>
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
## Evaluation
### Metrics
#### Information Retrieval
* Dataset: `dim_768`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:-----------|
| cosine_accuracy@1 | 0.2653 |
| cosine_accuracy@3 | 0.4377 |
| cosine_accuracy@5 | 0.5174 |
| cosine_accuracy@10 | 0.6099 |
| cosine_precision@1 | 0.2653 |
| cosine_precision@3 | 0.1459 |
| cosine_precision@5 | 0.1035 |
| cosine_precision@10 | 0.061 |
| cosine_recall@1 | 0.2653 |
| cosine_recall@3 | 0.4377 |
| cosine_recall@5 | 0.5174 |
| cosine_recall@10 | 0.6099 |
| cosine_ndcg@10 | 0.4285 |
| cosine_mrr@10 | 0.3715 |
| **cosine_map@100** | **0.3808** |
#### Information Retrieval
* Dataset: `dim_512`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:-----------|
| cosine_accuracy@1 | 0.2659 |
| cosine_accuracy@3 | 0.4323 |
| cosine_accuracy@5 | 0.5083 |
| cosine_accuracy@10 | 0.6015 |
| cosine_precision@1 | 0.2659 |
| cosine_precision@3 | 0.1441 |
| cosine_precision@5 | 0.1017 |
| cosine_precision@10 | 0.0602 |
| cosine_recall@1 | 0.2659 |
| cosine_recall@3 | 0.4323 |
| cosine_recall@5 | 0.5083 |
| cosine_recall@10 | 0.6015 |
| cosine_ndcg@10 | 0.4245 |
| cosine_mrr@10 | 0.3689 |
| **cosine_map@100** | **0.3781** |
#### Information Retrieval
* Dataset: `dim_256`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:-----------|
| cosine_accuracy@1 | 0.2484 |
| cosine_accuracy@3 | 0.4108 |
| cosine_accuracy@5 | 0.4802 |
| cosine_accuracy@10 | 0.5701 |
| cosine_precision@1 | 0.2484 |
| cosine_precision@3 | 0.1369 |
| cosine_precision@5 | 0.096 |
| cosine_precision@10 | 0.057 |
| cosine_recall@1 | 0.2484 |
| cosine_recall@3 | 0.4108 |
| cosine_recall@5 | 0.4802 |
| cosine_recall@10 | 0.5701 |
| cosine_ndcg@10 | 0.4006 |
| cosine_mrr@10 | 0.3473 |
| **cosine_map@100** | **0.3568** |
#### Information Retrieval
* Dataset: `dim_128`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:-----------|
| cosine_accuracy@1 | 0.2214 |
| cosine_accuracy@3 | 0.3702 |
| cosine_accuracy@5 | 0.4386 |
| cosine_accuracy@10 | 0.518 |
| cosine_precision@1 | 0.2214 |
| cosine_precision@3 | 0.1234 |
| cosine_precision@5 | 0.0877 |
| cosine_precision@10 | 0.0518 |
| cosine_recall@1 | 0.2214 |
| cosine_recall@3 | 0.3702 |
| cosine_recall@5 | 0.4386 |
| cosine_recall@10 | 0.518 |
| cosine_ndcg@10 | 0.3619 |
| cosine_mrr@10 | 0.3128 |
| **cosine_map@100** | **0.3218** |
#### Information Retrieval
* Dataset: `dim_64`
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:----------|
| cosine_accuracy@1 | 0.1616 |
| cosine_accuracy@3 | 0.2775 |
| cosine_accuracy@5 | 0.3343 |
| cosine_accuracy@10 | 0.4103 |
| cosine_precision@1 | 0.1616 |
| cosine_precision@3 | 0.0925 |
| cosine_precision@5 | 0.0669 |
| cosine_precision@10 | 0.041 |
| cosine_recall@1 | 0.1616 |
| cosine_recall@3 | 0.2775 |
| cosine_recall@5 | 0.3343 |
| cosine_recall@10 | 0.4103 |
| cosine_ndcg@10 | 0.2771 |
| cosine_mrr@10 | 0.2356 |
| **cosine_map@100** | **0.244** |
<!--
## Bias, Risks and Limitations
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->
<!--
### Recommendations
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->
## Training Details
### Training Dataset
#### json
* Dataset: json
* Size: 107,510 training samples
* Columns: <code>positive</code> and <code>anchor</code>
* Approximate statistics based on the first 1000 samples:
| | positive | anchor |
|:--------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
| type | string | string |
| details | <ul><li>min: 34 tokens</li><li>mean: 209.22 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 25.12 tokens</li><li>max: 53 tokens</li></ul> |
* Samples:
| positive | anchor |
|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:---------------------------------------------------------------------------------------------------------------------------------|
| <code>['Điều kiện thực hiện các quyền chuyển đổi, chuyển nhượng, cho thuê, cho thuê lại, thừa kế, tặng cho, thế chấp quyền sử dụng đất; góp vốn bằng quyền sử dụng đất\n1. Người sử dụng đất được thực hiện các quyền chuyển đổi, chuyển nhượng, cho thuê, cho thuê lại, thừa kế, tặng cho, thế chấp quyền sử dụng đất; góp vốn bằng quyền sử dụng đất khi có các điều kiện sau đây:\na) Có Giấy chứng nhận, trừ trường hợp quy định tại khoản 3 Điều 186 và trường hợp nhận thừa kế quy định tại khoản 1 Điều 168 của Luật này;\nb) Đất không có tranh chấp;\nc) Quyền sử dụng đất không bị kê biên để bảo đảm thi hành án;\nd) Trong thời hạn sử dụng đất.\n...']</code> | <code>Để tặng cho quyền sử dụng đất thì người sử dụng đất phải đảm bảo được những điều kiện nào?</code> |
| <code>['Vốn hoạt động của hợp tác xã\n1. Vốn hoạt động của hợp tác xã, liên hiệp hợp tác xã gồm vốn góp của thành viên, hợp tác xã thành viên, vốn huy động, vốn tích lũy, các quỹ của hợp tác xã, liên hiệp hợp tác xã; các khoản trợ cấp, hỗ trợ của Nhà nước, của các tổ chức, cá nhân trong nước và nước ngoài; các khoản được tặng, cho và các nguồn thu hợp pháp khác.\n2. Điều lệ, quy chế quản lý tài chính của hợp tác xã, liên hiệp hợp tác xã quy định cụ thể việc quản lý, sử dụng vốn hoạt động của hợp tác xã, liên hiệp hợp tác xã phù hợp với quy định của Luật Hợp tác xã và quy định của pháp luật có liên quan.']</code> | <code>Vốn hoạt động của hợp tác xã bao gồm những nguồn nào?</code> |
| <code>['Về kỹ năng\n- Sử dụng được công nghệ thông tin cơ bản theo quy định;\n- Xác định được yêu cầu của hệ thống cơ sở dữ liệu;\n- Cài đặt thành thạo phần mềm quản trị cơ sở dữ liệu;\n- Khai thác hiệu suất cao hệ thống cơ sở dữ liệu;\n- Quản lý an toàn hệ thống cơ sở dữ liệu;\n- Bảo trì được hệ thống;\n- Bảo mật được hệ thống cơ sở dữ liệu;\n- Nâng cấp được hệ thống cơ sở dữ liệu;\n- Xây dựng được ứng dụng;\n- Tích hợp được các hệ thống cơ sở dữ liệu;\n- Bảo trì, sửa chữa, nâng cấp được phần mềm và phần cứng của hệ thống mạng;\n- Xây dựng được các ứng dụng đơn giản trên hệ thống mạng;\n- Ghi được nhật ký cũng như báo cáo công việc, tiến độ công việc;\n- Thực hiện được các biện pháp vệ sinh công nghiệp, an toàn lao động;\n- Giao tiếp hiệu quả thông qua viết, thuyết trình, thảo luận, đàm phán, làm chủ tình huống;\n- Giám sát hệ thống công nghệ thông tin vừa và nhỏ;\n- Sử dụng được công nghệ thông tin cơ bản theo quy định; ứng dụng công nghệ thông tin trong một số công việc chuyên môn của ngành, nghề;\n- Sử dụng được ngoại ngữ cơ bản, đạt bậc 1/6 trong Khung năng lực ngoại ngữ của Việt Nam; ứng dụng được ngoại ngữ vào một số công việc chuyên môn của ngành, nghề.']</code> | <code>Người học ngành quản trị cơ sở dữ liệu trình độ trung cấp sau khi tốt nghiệp phải có kỹ năng ngoại ngữ như thế nào?</code> |
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
```json
{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
```
### Evaluation Dataset
#### json
* Dataset: json
* Size: 11,946 evaluation samples
* Columns: <code>positive</code> and <code>anchor</code>
* Approximate statistics based on the first 1000 samples:
| | positive | anchor |
|:--------|:-------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
| type | string | string |
| details | <ul><li>min: 31 tokens</li><li>mean: 210.02 tokens</li><li>max: 256 tokens</li></ul> | <ul><li>min: 8 tokens</li><li>mean: 24.98 tokens</li><li>max: 64 tokens</li></ul> |
* Samples:
| positive | anchor |
|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| <code>['Miễn nhiệm, cách chức Trưởng ban kiểm soát, Kiểm soát viên\n1. Trưởng ban kiểm soát, Kiểm soát viên bị miễn nhiệm trong các trường hợp sau đây:\na) Không còn đủ tiêu chuẩn và điều kiện theo quy định tại Điều 23 của Điều lệ này;\nb) Có đơn xin từ chức và được cơ quan đại diện chủ sở hữu chấp thuận;\nc) Được cơ quan đại diện chủ sở hữu hoặc cơ quan có thẩm quyền khác điều động, phân công thực hiện nhiệm vụ khác;\nd) Trường hợp khác theo quy định của pháp luật.\n...']</code> | <code>Việc miễn nhiệm Trưởng Ban kiểm soát Tổng công ty Giấy Việt Nam được thực hiện khi nào?</code> |
| <code>['Cấp giấy phép hoạt động tư vấn chuyên ngành điện thuộc thẩm quyền cấp của địa phương\n...\nc) Thành phần hồ sơ:\n- Văn bản đề nghị cấp giấy phép hoạt động điện lực theo Mẫu 01 quy định tại Phụ lục ban hành kèm theo Thông tư số 21/2020/TT-BCT .\n- Bản sao Giấy chứng nhận đăng ký doanh nghiệp hoặc Quyết định thành lập, Giấy chứng nhận thành lập (đối với các tổ chức không có Giấy chứng nhận đăng ký doanh nghiệp) của tổ chức đề nghị cấp giấy phép.\n- Danh sách trích ngang chuyên gia tư vấn đảm nhiệm chức danh chủ nhiệm, chức danh giám sát trưởng và các chuyên gia tư vấn khác theo Mẫu 3a quy định tại Phụ lục ban hành kèm theo Thông tư số 21/2020/TT-BCT ; bản sao bằng tốt nghiệp đại học trở lên, chứng chỉ hành nghề hoạt động xây dựng, hợp đồng lao động xác định thời hạn hoặc không xác định thời hạn của các chuyên gia tư vấn.\n- Tài liệu chứng minh kinh nghiệm của các chuyên gia tư vấn (Quyết định phân công nhiệm vụ, giấy xác nhận của các đơn vị có dự án mà chuyên gia đã thực hiện hoặc các tài liệu có giá trị tương đương).\n...']</code> | <code>Cần chuẩn bị những giấy tờ gì để thực hiện thủ tục cấp giấy phép hoạt động tư vấn thiết kế công trình đường dây và trạm biến áp có cấp điện áp đến 35kV?</code> |
| <code>['Điều 41. Tạm hoãn gọi nhập ngũ và miễn gọi nhập ngũ\n1. Tạm hoãn gọi nhập ngũ đối với những công dân sau đây:\na) Chưa đủ sức khỏe phục vụ tại ngũ theo kết luận của Hội đồng khám sức khỏe;\nb) Là lao động duy nhất phải trực tiếp nuôi dưỡng thân nhân không còn khả năng lao động hoặc chưa đến tuổi lao động; trong gia đình bị thiệt hại nặng về người và tài sản do tai nạn, thiên tai, dịch bệnh nguy hiểm gây ra được Ủy ban nhân dân cấp xã xác nhận;\nc) Một con của bệnh binh, người nhiễm chất độc da cam suy giảm khả năng lao động từ 61% đến 80%;\nd) Có anh, chị hoặc em ruột là hạ sĩ quan, binh sĩ đang phục vụ tại ngũ; hạ sĩ quan, chiến sĩ thực hiện nghĩa vụ tham gia Công an nhân dân;\nđ) Người thuộc diện di dân, giãn dân trong 03 năm đầu đến các xã đặc biệt khó khăn theo dự án phát triển kinh tế - xã hội của Nhà nước do Ủy ban nhân dân cấp tỉnh trở lên quyết định;\ne) Cán bộ, công chức, viên chức, thanh niên xung phong được điều động đến công tác, làm việc ở vùng có điều kiện kinh tế - xã hội đặc biệt khó khăn theo quy định của pháp luật;\ng) Đang học tại cơ sở giáo dục phổ thông; đang được đào tạo trình độ đại học hệ chính quy thuộc cơ sở giáo dục đại học, trình độ cao đẳng hệ chính quy thuộc cơ sở giáo dục nghề nghiệp trong thời gian một khóa đào tạo của một trình độ đào tạo.\nh) Dân quân thường trực.\n2. Miễn gọi nhập ngũ đối với những công dân sau đây:\na) Con của liệt sĩ, con của thương binh hạng một;\nb) Một anh hoặc một em trai của liệt sĩ;\nc) Một con của thương binh hạng hai; một con của bệnh binh suy giảm khả năng lao động từ 81% trở lên; một con của người nhiễm chất độc da cam suy giảm khả năng lao động từ 81 % trở lên;\nd) Người làm công tác cơ yếu không phải là quân nhân, Công an nhân dân;\nđ) Cán bộ, công chức, viên chức, thanh niên xung phong được điều động đến công tác, làm việc ở vùng có điều kiện kinh tế - xã hội đặc biệt khó khăn theo quy định của pháp luật từ 24 tháng trở lên.\n3. Công dân thuộc diện tạm hoãn gọi nhập ngũ quy định tại khoản 1 Điều này, nếu không còn lý do tạm hoãn thì được gọi nhập ngũ.\nCông dân thuộc diện được tạm hoãn gọi nhập ngũ hoặc được miễn gọi nhập ngũ quy định tại khoản 1 và khoản 2 Điều này, nếu tình nguyện thì được xem xét tuyển chọn và gọi nhập ngũ.\n4. Danh sách công dân thuộc diện được tạm hoãn gọi nhập ngũ, được miễn gọi nhập ngũ phải được niêm yết công khai tại trụ sở Ủy ban nhân dân cấp xã, cơ quan, tổ chức trong thời hạn 20 ngày.']</code> | <code>Liên quan đến tạm hoãn nghĩa vụ quân sự được pháp luật quy định như thế nào?</code> |
* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
```json
{
"loss": "MultipleNegativesRankingLoss",
"matryoshka_dims": [
768,
512,
256,
128,
64
],
"matryoshka_weights": [
1,
1,
1,
1,
1
],
"n_dims_per_step": -1
}
```
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: epoch
- `per_device_train_batch_size`: 64
- `per_device_eval_batch_size`: 64
- `gradient_accumulation_steps`: 16
- `learning_rate`: 2e-05
- `num_train_epochs`: 4
- `lr_scheduler_type`: cosine
- `warmup_ratio`: 0.1
- `bf16`: True
- `load_best_model_at_end`: True
- `optim`: adamw_torch_fused
- `batch_sampler`: no_duplicates
#### All Hyperparameters
<details><summary>Click to expand</summary>
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: epoch
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 64
- `per_device_eval_batch_size`: 64
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 16
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 4
- `max_steps`: -1
- `lr_scheduler_type`: cosine
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: True
- `fp16`: False
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch_fused
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `batch_sampler`: no_duplicates
- `multi_dataset_batch_sampler`: proportional
</details>
### Training Logs
| Epoch | Step | Training Loss | loss | dim_128_cosine_map@100 | dim_256_cosine_map@100 | dim_512_cosine_map@100 | dim_64_cosine_map@100 | dim_768_cosine_map@100 |
|:------:|:----:|:-------------:|:------:|:----------------------:|:----------------------:|:----------------------:|:---------------------:|:----------------------:|
| 0.0952 | 10 | 2.1759 | - | - | - | - | - | - |
| 0.1905 | 20 | 1.4526 | - | - | - | - | - | - |
| 0.2857 | 30 | 1.4855 | - | - | - | - | - | - |
| 0.3810 | 40 | 1.5256 | - | - | - | - | - | - |
| 0.4762 | 50 | 1.6203 | - | - | - | - | - | - |
| 0.5714 | 60 | 1.6302 | - | - | - | - | - | - |
| 0.6667 | 70 | 1.8354 | - | - | - | - | - | - |
| 0.7619 | 80 | 1.4928 | - | - | - | - | - | - |
| 0.8571 | 90 | 1.6114 | - | - | - | - | - | - |
| 0.9524 | 100 | 1.5655 | - | - | - | - | - | - |
| 1.0 | 105 | - | 1.4307 | 0.3218 | 0.3568 | 0.3781 | 0.2440 | 0.3808 |
| 1.0476 | 110 | 1.4171 | - | - | - | - | - | - |
| 1.1429 | 120 | 1.572 | - | - | - | - | - | - |
| 1.2381 | 130 | 1.3337 | - | - | - | - | - | - |
| 1.3333 | 140 | 1.2587 | - | - | - | - | - | - |
| 1.4286 | 150 | 1.3038 | - | - | - | - | - | - |
| 1.5238 | 160 | 1.5032 | - | - | - | - | - | - |
| 1.6190 | 170 | 1.1601 | - | - | - | - | - | - |
| 1.7143 | 180 | 1.2226 | - | - | - | - | - | - |
| 1.8095 | 190 | 1.1545 | - | - | - | - | - | - |
| 1.9048 | 200 | 1.2034 | - | - | - | - | - | - |
| 2.0 | 210 | 1.0695 | 1.1034 | 0.3218 | 0.3568 | 0.3781 | 0.2440 | 0.3808 |
| 2.0952 | 220 | 1.0259 | - | - | - | - | - | - |
| 2.1905 | 230 | 0.8647 | - | - | - | - | - | - |
| 2.2857 | 240 | 0.901 | - | - | - | - | - | - |
| 2.3810 | 250 | 0.9261 | - | - | - | - | - | - |
| 2.4762 | 260 | 0.8719 | - | - | - | - | - | - |
| 2.5714 | 270 | 0.8008 | - | - | - | - | - | - |
| 2.6667 | 280 | 0.7091 | - | - | - | - | - | - |
| 2.7619 | 290 | 0.6592 | - | - | - | - | - | - |
| 2.8571 | 300 | 0.69 | - | - | - | - | - | - |
| 2.9524 | 310 | 0.739 | - | - | - | - | - | - |
| 3.0 | 315 | - | 0.8128 | 0.3218 | 0.3568 | 0.3781 | 0.2440 | 0.3808 |
### Framework Versions
- Python: 3.10.12
- Sentence Transformers: 3.1.1
- Transformers: 4.45.2
- PyTorch: 2.3.1+cu121
- Accelerate: 1.0.1
- Datasets: 2.19.1
- Tokenizers: 0.20.1
## Citation
### BibTeX
#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
```
#### MatryoshkaLoss
```bibtex
@misc{kusupati2024matryoshka,
title={Matryoshka Representation Learning},
author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
year={2024},
eprint={2205.13147},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
```
#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
```
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
--> |