SentenceTransformer based on answerdotai/ModernBERT-base

This is a sentence-transformers model finetuned from answerdotai/ModernBERT-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: answerdotai/ModernBERT-base
Maximum Sequence Length: 8192 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: ModernBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'người tiếp_nhận hồ_sơ có trách_nhiệm gì trong quá_trình chứng_thực hợp_đồng , giao_dịch ?',
    'điều 20 . chứng_thực hợp_đồng , giao_dịch tại bộ_phận tiếp_nhận và trả kết_quả theo cơ_chế một cửa , một cửa liên_thông \n 1 . trường_hợp người yêu_cầu chứng_thực hợp_đồng , giao_dịch nộp hồ_sơ trực_tiếp tại bộ_phận tiếp_nhận và trả kết_quả theo cơ_chế một cửa , một cửa liên_thông , thì các bên phải ký trước mặt người tiếp_nhận hồ_sơ . trường_hợp người giao_kết_hợp_đồng , giao_dịch là đại_diện của tổ_chức tín_dụng , doanh_nghiệp đã đăng_ký chữ_ký mẫu tại cơ_quan thực_hiện chứng_thực , thì người đó có_thể ký trước vào hợp_đồng , giao_dịch . người tiếp_nhận hồ_sơ có trách_nhiệm đối_chiếu chữ_ký trong hợp_đồng , giao_dịch với chữ_ký mẫu . nếu thấy chữ_ký trong hợp_đồng , giao_dịch khác chữ_ký mẫu , thì yêu_cầu người đó ký trước mặt người tiếp_nhận hồ_sơ . người tiếp_nhận hồ_sơ phải chịu trách_nhiệm về việc các bên đã ký trước mặt mình . \n 2 . người tiếp_nhận hồ_sơ có trách_nhiệm kiểm_tra giấy_tờ , hồ_sơ .',
    'điều 8 . trị_giá tính thuế , thời_điểm tính thuế \n 1 . trị_giá tính thuế_xuất_khẩu , thuế_nhập_khẩu là trị_giá hải_quan theo quy_định của luật hải_quan . \n 2 . thời_điểm tính thuế_xuất_khẩu , thuế_nhập_khẩu là thời_điểm đăng_ký tờ khai hải_quan . đối_với hàng_hóa xuất_khẩu , nhập_khẩu thuộc đối_tượng không chịu thuế , miễn thuế_xuất_khẩu , thuế_nhập_khẩu hoặc áp_dụng thuế_suất , mức thuế tuyệt_đối trong hạn_ngạch thuế_quan nhưng được thay_đổi về đối_tượng không chịu thuế , miễn thuế , áp_dụng thuế_suất , mức thuế tuyệt_đối trong hạn_ngạch thuế_quan theo quy_định của pháp_luật thì thời_điểm tính thuế là thời_điểm đăng_ký tờ khai hải_quan mới . thời_điểm đăng_ký tờ khai hải_quan thực_hiện theo quy_định của pháp_luật về hải_quan .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Triplet

Dataset: public_administrative
Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.5845

Training Details

Training Dataset

Unnamed Dataset

Size: 63,130 training samples
Columns: query, positive, and negative

Approximate statistics based on the first 1000 samples:

	query	positive	negative
type	string	string	string
details	min: 35 tokens mean: 85.74 tokens max: 225 tokens	min: 289 tokens mean: 584.64 tokens max: 923 tokens	min: 299 tokens mean: 581.07 tokens max: 929 tokens

Samples:

query	positive	negative
`bộ tài_chính quy_định thế_nào về chi_phí cho cán_bộ , công_chức , viên_chức đi công_tác nước_ngoài để kiểm_tra tình_hình phát_triển của trẻ_em việt_nam được nhận làm con_nuôi ở nước_ngoài ?`	c ) chi công_tác_phí cho cán_bộ , công_chức , viên_chức đi công_tác nước_ngoài để kiểm_tra tình_hình phát_triển của trẻ_em việt_nam được nhận làm con_nuôi ở nước_ngoài ( nếu có ) thực_hiện theo quy_định tại thông_tư số 102 / 2012 / tt - btc ngày 21 / 6 / 2012 của bộ tài_chính quy_định_chế_độ công_tác_phí cho cán_bộ , công_chức nhà_nước đi công_tác ngắn_hạn ở nước_ngoài do ngân_sách nhà_nước bảo_đảm kinh_phí ; d ) chi tập_huấn nghiệp_vụ cho văn_phòng con_nuôi nước_ngoài tại việt_nam được thực_hiện theo quy_định tại thông_tư số 139 / 2010 / tt - btc ngày 21 / 9 / 2010 của bộ tài_chính quy_định việc lập dự_toán , quản_lý và sử_dụng kinh_phí từ ngân_sách nhà_nước dành cho công_tác đào_tạo , bồi_dưỡng cán_bộ , công_chức ;	điều 15 . nhiệm_vụ , quyền_hạn của bộ tài_chính 1 . là cơ_quan đầu_mối giúp chính_phủ thống_nhất quản_lý nhà_nước về tài_sản công . 2 . chủ_trì xây_dựng , trình cơ_quan , người có thẩm_quyền ban_hành_văn_bản quy_phạm_pháp_luật về : a ) chế_độ quản_lý , sử_dụng tài_sản công tại cơ_quan , tổ_chức , đơn_vị ; việc phân_cấp thẩm_quyền quyết_định trong quản_lý , sử_dụng tài_sản công ; b ) tiêu_chuẩn , định mức sử_dụng trụ_sở làm_việc , xe ô_tô , tài_sản công của cơ_quan đại_diện ngoại_giao , cơ_quan đại_diện lãnh_sự , cơ_quan đại_diện tại tổ_chức quốc_tế theo quy_định của pháp_luật về cơ_quan đại_diện của việt_nam ở nước_ngoài và cơ_quan , tổ_chức , đơn_vị khác của việt_nam ở nước_ngoài ( sau đây gọi là cơ_quan việt_nam ở nước_ngoài ) , máy_móc , thiết_bị và các tài_sản công được sử_dụng phổ_biến tại cơ_quan , tổ_chức , đơn_vị , trừ nhà ở công_vụ và tài_sản đặc_biệt tại đơn_vị lực_lượng vũ_trang nhân_dân ;
`khi thuê đất để xây_dựng cơ_sở hạ_tầng , xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng bao_gồm những chi_phí nào ?`	a ) giá đất được trừ để tính thuế giá_trị gia_tăng được quy_định cụ_thể như sau : - trường_hợp được nhà_nước giao đất để đầu_tư cơ_sở hạ_tầng xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng bao_gồm tiền_sử_dụng đất phải nộp ngân_sách nhà_nước ( không kể tiền_sử_dụng đất được miễn , giảm ) và chi_phí bồi_thường , giải_phóng mặt_bằng theo quy_định của pháp_luật ; - trường_hợp đấu_giá quyền sử_dụng đất thì giá đất được trừ để tính thuế giá_trị gia_tăng là giá đất trúng đấu_giá ; - trường_hợp thuê đất để xây_dựng cơ_sở hạ_tầng , xây_dựng nhà để bán , giá đất được trừ để tính thuế giá_trị gia_tăng là tiền thuê đất phải nộp ngân_sách nhà_nước ( không bao_gồm tiền thuê đất được miễn , giảm ) và chi_phí đền_bù , giải_phóng mặt_bằng theo quy_định của pháp_luật ; - trường_hợp cơ_sở kinh_doanh nhận chuyển_nhượng quyền sử_dụng đất của các tổ_chức , cá_nhân thì giá đất được trừ để tính thuế giá_trị gia_tăng là giá đất tại thời_điểm nhận chuyển_nhượng quyền sử_dụng đất bao_gồm c...	5 . phối_hợp với cơ_quan bảo_hiểm xã_hội trả sổ bảo_hiểm xã_hội cho người lao_động , xác_nhận thời_gian đóng bảo_hiểm xã_hội khi người lao_động chấm_dứt hợp_đồng lao_động , hợp_đồng làm_việc hoặc thôi_việc theo quy_định của pháp_luật . 6 . cung_cấp chính_xác , đầy_đủ , kịp_thời thông_tin , tài_liệu liên_quan đến việc đóng , hưởng bảo_hiểm xã_hội theo yêu_cầu của cơ_quan quản_lý nhà_nước có thẩm_quyền , cơ_quan bảo_hiểm xã_hội . 7 . định_kỳ 06 tháng , niêm_yết công_khai_thông_tin về việc đóng bảo_hiểm xã_hội cho người lao_động ; cung_cấp thông_tin về việc đóng bảo_hiểm xã_hội của người lao_động khi người lao_động hoặc tổ_chức công_đoàn yêu_cầu . 8 . hằng năm , niêm_yết công_khai_thông_tin đóng bảo_hiểm xã_hội của người lao_động do cơ_quan bảo_hiểm xã_hội cung_cấp theo quy_định tại khoản 7 điều 23 của luật này . điều 22 . quyền của cơ_quan bảo_hiểm xã_hội 1 . tổ_chức quản_lý nhân_sự , tài_chính và tài_sản theo quy_định của pháp_luật . 2 . từ_chối yêu_cầu trả bảo_hiểm xã_hội ,...
`nếu tôi vừa có số tiền thuế đủ điều_kiện hoàn , vừa có số tiền thuế tiền chậm nộp , tiền phạt bị truy_thu thì cơ_quan thuế sẽ xử_lý như thế_nào ?`	trường_hợp tại biên_bản kiểm_tra trước hoàn thuế xác_định người nộp thuế vừa có số tiền thuế đủ điều_kiện hoàn , vừa có số tiền thuế tiền chậm nộp , tiền phạt bị truy_thu thì cơ_quan thuế_ban_hành quyết_định xử_lý vi_phạm_pháp_luật về thuế và bù_trừ số tiền thuế được hoàn của người nộp thuế tại quyết_định hoàn thuế_kiêm bù_trừ thu ngân_sách nhà_nước theo mẫu_số 02 / qđ - ht ban_hành kèm theo phụ_lục i thông_tư này . d ) đối_với hồ_sơ hoàn nộp thừa của người nộp thuế có khoản nộp thừa tại tỉnh nơi được hưởng khoản thu_phân_bổ , cơ_quan thuế quản_lý trực_tiếp chủ_trì tổng_hợp nghĩa_vụ thuế , số thuế đã nộp ngân_sách nhà_nước tại trụ_sở chính và các tỉnh nơi được hưởng khoản thu_phân_bổ .	điều 59 . quản_lý nhà_nước về kinh_doanh casino 1 . chính_phủ thống_nhất quản_lý nhà_nước về kinh_doanh casino và ban_hành chính_sách điều_chỉnh hoạt_động_kinh_doanh casino theo thẩm_quyền . 2 . thủ_tướng chính_phủ a ) phê_duyệt chủ_trương , chính_sách , ban_hành các văn_bản quy_phạm_pháp_luật và biện_pháp cần_thiết theo thẩm_quyền để quản_lý hoạt_động_kinh_doanh casino theo quy_định tại nghị_định này và quy_định của pháp_luật có liên_quan ; b ) chấp_thuận số_lượng máy trò_chơi , bàn trò_chơi và điều_chỉnh số_lượng máy trò_chơi , bàn trò_chơi tối_đa đối_với dự_án khu dịch_vụ , du_lịch và vui_chơi giải_trí tổng_hợp có casino theo quy_định tại điều 7 và điều 8 nghị_định này ; c ) quyết_định các nội_dung khác có liên_quan đến hoạt_động_kinh_doanh casino theo thẩm_quyền quy_định tại nghị_định này và quy_định của pháp_luật . 3 . bộ tài_chính chịu trách_nhiệm trước chính_phủ thực_hiện quản_lý nhà_nước về kinh_doanh casino , bao_gồm : a ) nghiên_cứu , xây_dựng trình cấp có thẩm_...

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Evaluation Dataset

Unnamed Dataset

Size: 7,015 evaluation samples
Columns: query, positive, and negative

Approximate statistics based on the first 1000 samples:

	query	positive	negative
type	string	string	string
details	min: 37 tokens mean: 85.51 tokens max: 173 tokens	min: 297 tokens mean: 587.0 tokens max: 931 tokens	min: 276 tokens mean: 585.64 tokens max: 906 tokens

Samples:

query	positive	negative
`cục y_tế dự_phòng có vai_trò gì trong việc xây_dựng và phát_triển các kế_hoạch hoạt_động phối_hợp trong phòng , chống bệnh lây_truyền từ động_vật sang người ?`	điều 13 . trách_nhiệm của cục y_tế dự_phòng - bộ y_tế 1 . đầu_mối của bộ y_tế phối_hợp với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn triển_khai các hoạt_động phối_hợp phòng , chống bệnh lây_truyền từ động_vật sang người . 2 . chỉ_đạo toàn_bộ các hoạt_động về phối_hợp giữa ngành y_tế và nông_nghiệp trong phòng , chống bệnh lây_truyền từ động_vật sang người đối_với các đơn_vị trong ngành y_tế . 3 . phối_hợp với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn xây_dựng , đề_xuất sửa_đổi các hướng_dẫn giám_sát bệnh lây_truyền từ động_vật sang người ; xây_dựng và phát_triển các kế_hoạch hoạt_động phối_hợp trong phòng , chống bệnh lây_truyền từ động_vật sang người . 4 . định_kỳ 6 tháng_một lần , tổ_chức họp giao_ban với cục thú_y - bộ nông_nghiệp và phát_triển nông_thôn và các đơn_vị liên_quan để đánh_giá hoạt_động phối_hợp trong giám_sát phòng , chống bệnh lây_truyền từ động_vật sang người .	khoản 1 . chi thường_xuyên : a ) chi thanh_toán cá_nhân : tiền_lương , tiền công , phụ_cấp lương , các khoản đóng_góp theo lương ( bảo_hiểm xã_hội , bảo_hiểm y_tế , bảo_hiểm_thất_nghiệp ( nếu có ) , kinh_phí công_đoàn ) ; tiền khen_thưởng thành_tích theo danh_hiệu thi_đua và các khoản thanh_toán khác cho cá_nhân ; b ) chi quản_lý hành_chính : chi thanh_toán dịch_vụ công_cộng ; vật_tư văn_phòng ; thông_tin tuyên_truyền , liên_lạc ; hội_nghị ; chi công_tác_phí ; chi thuê_mướn ; sửa_chữa , bảo_trì , bảo_dưỡng thường_xuyên tài_sản cố_định và các khoản chi hành_chính khác ; c ) chi hoạt_động nghiệp_vụ : mua_sắm vật_tư , hàng_hóa dùng cho chuyên_môn , nghiệp_vụ ; thiết_bị an_toàn kho_quỹ , thiết_bị kiểm_đếm ; ấn chỉ các loại ; trang_phục , bảo_hộ lao_động ; các khoản nghiệp_vụ kiểm_đếm , đảo kho , điều_chuyển , bảo_vệ an_toàn kho , tiền , vàng_bạc , đá_quý , ngoại_tệ và các chứng_chỉ có_giá ; bảo_quản , lưu_trữ tài_liệu , chứng_từ ; các khoản nghiệp_vụ khác ; d ) chi_phối_hợp tổ_chức...
`theo quy_định , tay_vịn phải được lắp_đặt như thế_nào ở khu_vực cạnh cửa ra vào trên xe_khách thành_phố để người khuyết_tật tiếp_cận ?`	trong bất_kỳ khu_vực nào không phải lối đi dọc mà hành_khách có_thể đứng : 2.3.4.1.3 . từ khu_vực cạnh cửa ra vào liền kề ngay cửa ra vào ưu_tiên đến ít_nhất một ghế ưu_tiên , tay_vịn có độ cao từ 800 mm đến 900 mm so với sàn xe ; hoặc ở khu_vực không phù_hợp với những yêu_cầu đó , tay_vịn không cần phải bố_trí liên_tục , nhưng khoảng trống giữa các tay_vịn không được lớn hơn 1050 mm , và phải có một tay_vịn thẳng_đứng bố_trí tại ít_nhất một phía của khoảng trống giữa các tay_vịn nói trên với chiều dài nằm trong khoảng từ độ cao 1200 mm đến độ cao không nhỏ hơn 1500 mm so với sàn xe . 2.3.4.1.4 . tay_vịn được bố_trí ở cả hai bên của khu_vực phía trong cửa vào hoặc cửa ra : 2.3.4.2 .	điều 15 . 1 . hội_đồng quản_trị thực_hiện chức_năng quản_lý hoạt_động của tổng_công_ty , chịu trách_nhiệm về sự phát_triển của tổng_công_ty theo nhiệm_vụ nhà_nước giao . 2 . hội_đồng quản_trị có các quyền_hạn và nhiệm_vụ sau : a ) nhận vốn ( kể_cả nợ ) , đất_đai , tài_nguyên và các nguồn_lực khác do nhà_nước giao cho tổng_công_ty . b ) xem_xét , phê_duyệt phương_án do tổng_giám_đốc đề_nghị về việc phân giao vốn và các nguồn_lực khác cho các đơn_vị thành_viên và phương_án điều_hoà_vốn và các nguồn_lực khác giữa các đơn_vị thành_viên ; kiểm_tra , giám_sát việc thực_hiện các phương_án đó ; c ) kiểm_tra , giám_sát mọi hoạt_động trong tổng_công_ty ; trong đó có việc sử_dụng , bảo_toàn , phát_triển vốn và các nguồn_lực được giao ; việc thực_hiện các nghị_định và quyết_định của hội_đồng quản_trị , các quy_định của luật_pháp ; việc thực_hiện nghĩa_vụ đối_với nhà_nước .
`ngày 01 tháng 01 năm 2018 có ý_nghĩa gì đối_với nghị_định về trình_tự , thủ_tục , mức tiền pháp_nhân thương_mại phải nộp để bảo_đảm thi_hành án ?`	chương iv. điều_khoản thi_hành điều 10 . hiệu_lực thi_hành . nghị_định này có hiệu_lực thi_hành từ ngày 01 tháng 01 năm 2018 . điều 11 . trách_nhiệm thi_hành . các bộ_trưởng , thủ_trưởng cơ_quan ngang bộ , thủ_trưởng cơ_quan thuộc chính_phủ , chủ_tịch ủy_ban nhân_dân các tỉnh , thành_phố trực_thuộc trung_ương và các đối_tượng áp_dụng của nghị_định chịu trách_nhiệm thi_hành nghị_định này . / nơi nhận : - ban bí_thư trung_ương đảng ; - thủ_tướng , các phó_thủ_tướng chính_phủ ; - các bộ , cơ_quan ngang bộ , cơ_quan thuộc chính_phủ ; - hđnd , ubnd các tỉnh , thành_phố trực_thuộc trung_ương ; - văn_phòng trung_ương và các ban của đảng ; - văn_phòng tổng_bí_thư ; - văn_phòng chủ_tịch nước ; - hội_đồng dân_tộc và các ủy_ban của quốc_hội ; - văn_phòng quốc_hội ; - tòa_án nhân_dân tối_cao ; - viện kiểm_sát_nhân_dân tối_cao ; - kiểm_toán nhà_nước ; - ủy_ban giám_sát tài_chính quốc_gia ; - ngân_hàng chính_sách xã_hội ; - ngân_hàng phát_triển việt_nam ;	viên_chức đăng_ký dự_thi thăng_hạng được miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp. viên_chức đăng_ký dự_xét thăng_hạng thuộc đối_tượng được miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp được xác_nhận đáp_ứng tiêu_chuẩn về ngoại_ngữ , tin_học khi đăng_ký dự_xét thăng_hạng . trường_hợp không thuộc đối_tượng miễn thi môn ngoại_ngữ , tin_học theo quy_định tại khoản 6 và khoản 7 điều 39 nghị_định số 115 / 2020 / nđ - cp thì trong hồ_sơ dự xét phải có minh chứng đáp_ứng yêu_cầu về tiêu_chuẩn ngoại_ngữ , tin_học của chức_danh nghề_nghiệp đăng_ký dự_xét thăng_hạng .

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 2
per_device_eval_batch_size: 2
learning_rate: 2e-05
warmup_ratio: 0.05
bf16: True
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 2
per_device_eval_batch_size: 2
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 3
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.05
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	public_administrative_cosine_accuracy
0	0	-	0.5845
0.0032	100	1.3479	-
0.0063	200	1.3106	-
0.0095	300	1.3496	-
0.0127	400	1.1463	-
0.0158	500	0.7624	-
0.0190	600	0.6289	-
0.0222	700	0.5052	-
0.0253	800	0.5615	-
0.0285	900	0.2871	-
0.0317	1000	0.4623	-
0.0348	1100	0.5214	-
0.0380	1200	0.4097	-
0.0412	1300	0.4068	-
0.0444	1400	0.2873	-
0.0475	1500	0.3133	-
0.0507	1600	0.1869	-
0.0539	1700	0.3004	-
0.0570	1800	0.2164	-
0.0602	1900	0.293	-
0.0634	2000	0.17	-
0.0665	2100	0.1669	-
0.0697	2200	0.1337	-
0.0729	2300	0.2076	-
0.0760	2400	0.2348	-
0.0792	2500	0.2016	-
0.0824	2600	0.1139	-
0.0855	2700	0.2098	-
0.0887	2800	0.1562	-
0.0919	2900	0.1301	-
0.0950	3000	0.1271	-
0.0982	3100	0.1226	-
0.1014	3200	0.147	-
0.1045	3300	0.1135	-
0.1077	3400	0.1004	-
0.1109	3500	0.0795	-
0.1141	3600	0.1719	-
0.1172	3700	0.1445	-
0.1204	3800	0.1206	-
0.1236	3900	0.0458	-
0.1267	4000	0.1122	-
0.1299	4100	0.0483	-
0.1331	4200	0.0493	-
0.1362	4300	0.0883	-
0.1394	4400	0.0926	-
0.1426	4500	0.1196	-
0.1457	4600	0.0793	-
0.1489	4700	0.1418	-
0.1521	4800	0.1341	-
0.1552	4900	0.106	-
0.1584	5000	0.1032	-
0.1616	5100	0.0789	-
0.1647	5200	0.0513	-
0.1679	5300	0.0244	-
0.1711	5400	0.0621	-
0.1742	5500	0.0301	-
0.1774	5600	0.0456	-
0.1806	5700	0.0444	-
0.1837	5800	0.0573	-
0.1869	5900	0.0635	-
0.1901	6000	0.1086	-
0.1933	6100	0.1383	-
0.1964	6200	0.1049	-
0.1996	6300	0.0843	-
0.2028	6400	0.0458	-
0.2059	6500	0.059	-
0.2091	6600	0.0269	-
0.2123	6700	0.0417	-
0.2154	6800	0.0593	-
0.2186	6900	0.0534	-
0.2218	7000	0.0718	-
0.2249	7100	0.1301	-
0.2281	7200	0.0705	-
0.2313	7300	0.0492	-
0.2344	7400	0.0908	-
0.2376	7500	0.0462	-
0.2408	7600	0.0772	-
0.2439	7700	0.0906	-
0.2471	7800	0.0739	-
0.2503	7900	0.0325	-
0.2534	8000	0.1081	-
0.2566	8100	0.0472	-
0.2598	8200	0.0613	-
0.2629	8300	0.0281	-
0.2661	8400	0.0184	-
0.2693	8500	0.0447	-
0.2725	8600	0.0609	-
0.2756	8700	0.0323	-
0.2788	8800	0.0794	-
0.2820	8900	0.0477	-
0.2851	9000	0.0819	-
0.2883	9100	0.0838	-
0.2915	9200	0.0512	-
0.2946	9300	0.0641	-
0.2978	9400	0.0549	-
0.3010	9500	0.0328	-
0.3041	9600	0.0338	-
0.3073	9700	0.0976	-
0.3105	9800	0.0413	-
0.3136	9900	0.0746	-
0.3168	10000	0.0683	-
0.3200	10100	0.0137	-
0.3231	10200	0.0521	-
0.3263	10300	0.0518	-
0.3295	10400	0.0764	-
0.3326	10500	0.0447	-
0.3358	10600	0.0698	-
0.3390	10700	0.0488	-
0.3422	10800	0.0288	-
0.3453	10900	0.0155	-
0.3485	11000	0.0443	-
0.3517	11100	0.0451	-
0.3548	11200	0.0735	-
0.3580	11300	0.0245	-
0.3612	11400	0.0311	-
0.3643	11500	0.0565	-
0.3675	11600	0.0447	-
0.3707	11700	0.0785	-
0.3738	11800	0.0509	-
0.3770	11900	0.0496	-
0.3802	12000	0.0482	-
0.3833	12100	0.0174	-
0.3865	12200	0.0665	-
0.3897	12300	0.0475	-
0.3928	12400	0.01	-
0.3960	12500	0.0345	-
0.3992	12600	0.027	-
0.4023	12700	0.0364	-
0.4055	12800	0.0226	-
0.4087	12900	0.1074	-
0.4118	13000	0.0179	-
0.4150	13100	0.0377	-
0.4182	13200	0.0384	-
0.4214	13300	0.0309	-
0.4245	13400	0.0277	-
0.4277	13500	0.0196	-
0.4309	13600	0.0386	-
0.4340	13700	0.0135	-
0.4372	13800	0.0375	-
0.4404	13900	0.0583	-
0.4435	14000	0.0175	-
0.4467	14100	0.0366	-
0.4499	14200	0.0445	-
0.4530	14300	0.014	-
0.4562	14400	0.0369	-
0.4594	14500	0.0109	-
0.4625	14600	0.0151	-
0.4657	14700	0.0487	-
0.4689	14800	0.0166	-
0.4720	14900	0.0047	-
0.4752	15000	0.0247	-
0.4784	15100	0.0198	-
0.4815	15200	0.0492	-
0.4847	15300	0.027	-
0.4879	15400	0.0368	-
0.4911	15500	0.0072	-
0.4942	15600	0.0448	-
0.4974	15700	0.0334	-
0.5006	15800	0.0401	-
0.5037	15900	0.0158	-
0.5069	16000	0.0247	-
0.5101	16100	0.0452	-
0.5132	16200	0.0337	-
0.5164	16300	0.0106	-
0.5196	16400	0.0105	-
0.5227	16500	0.0167	-
0.5259	16600	0.0104	-
0.5291	16700	0.022	-
0.5322	16800	0.0591	-
0.5354	16900	0.0227	-
0.5386	17000	0.0503	-
0.5417	17100	0.0424	-
0.5449	17200	0.0185	-
0.5481	17300	0.0174	-
0.5512	17400	0.0086	-
0.5544	17500	0.0292	-
0.5576	17600	0.0072	-
0.5607	17700	0.0633	-
0.5639	17800	0.0425	-
0.5671	17900	0.0208	-
0.5703	18000	0.009	-
0.5734	18100	0.0394	-
0.5766	18200	0.0096	-
0.5798	18300	0.0171	-
0.5829	18400	0.0246	-
0.5861	18500	0.0508	-
0.5893	18600	0.0138	-
0.5924	18700	0.0344	-
0.5956	18800	0.0345	-
0.5988	18900	0.044	-
0.6019	19000	0.0234	-
0.6051	19100	0.0118	-
0.6083	19200	0.0333	-
0.6114	19300	0.0182	-
0.6146	19400	0.0115	-
0.6178	19500	0.0321	-
0.6209	19600	0.015	-
0.6241	19700	0.0245	-
0.6273	19800	0.0202	-
0.6304	19900	0.0365	-
0.6336	20000	0.0057	-
0.6368	20100	0.1269	-
0.6399	20200	0.0281	-
0.6431	20300	0.0092	-
0.6463	20400	0.0486	-
0.6495	20500	0.0323	-
0.6526	20600	0.0175	-
0.6558	20700	0.0078	-
0.6590	20800	0.0143	-
0.6621	20900	0.0159	-
0.6653	21000	0.0261	-
0.6685	21100	0.0083	-
0.6716	21200	0.0232	-
0.6748	21300	0.009	-
0.6780	21400	0.0051	-
0.6811	21500	0.0091	-
0.6843	21600	0.0189	-
0.6875	21700	0.0044	-
0.6906	21800	0.0284	-
0.6938	21900	0.0231	-
0.6970	22000	0.0137	-
0.7001	22100	0.0412	-
0.7033	22200	0.0111	-
0.7065	22300	0.063	-
0.7096	22400	0.0182	-
0.7128	22500	0.0261	-
0.7160	22600	0.0221	-
0.7192	22700	0.0534	-
0.7223	22800	0.0295	-
0.7255	22900	0.0073	-
0.7287	23000	0.0075	-
0.7318	23100	0.0309	-
0.7350	23200	0.0279	-
0.7382	23300	0.013	-
0.7413	23400	0.0147	-
0.7445	23500	0.0154	-
0.7477	23600	0.0158	-
0.7508	23700	0.0157	-
0.7540	23800	0.0052	-
0.7572	23900	0.0072	-
0.7603	24000	0.0132	-
0.7635	24100	0.0243	-
0.7667	24200	0.0201	-
0.7698	24300	0.0168	-
0.7730	24400	0.0132	-
0.7762	24500	0.014	-
0.7793	24600	0.0351	-
0.7825	24700	0.0318	-
0.7857	24800	0.0099	-
0.7888	24900	0.0395	-
0.7920	25000	0.0185	-
0.7952	25100	0.0114	-
0.7984	25200	0.0246	-
0.8015	25300	0.0392	-
0.8047	25400	0.0042	-
0.8079	25500	0.0188	-
0.8110	25600	0.0126	-
0.8142	25700	0.0535	-
0.8174	25800	0.0164	-
0.8205	25900	0.0433	-
0.8237	26000	0.0313	-
0.8269	26100	0.0157	-
0.8300	26200	0.0188	-
0.8332	26300	0.0307	-
0.8364	26400	0.0074	-
0.8395	26500	0.0468	-
0.8427	26600	0.0138	-
0.8459	26700	0.0044	-
0.8490	26800	0.0366	-
0.8522	26900	0.0343	-
0.8554	27000	0.0051	-
0.8585	27100	0.0294	-
0.8617	27200	0.0373	-
0.8649	27300	0.0097	-
0.8681	27400	0.0177	-
0.8712	27500	0.0124	-
0.8744	27600	0.0126	-
0.8776	27700	0.0128	-
0.8807	27800	0.01	-
0.8839	27900	0.0119	-
0.8871	28000	0.0169	-
0.8902	28100	0.0081	-
0.8934	28200	0.0075	-
0.8966	28300	0.0159	-
0.8997	28400	0.0094	-
0.9029	28500	0.0154	-
0.9061	28600	0.0079	-
0.9092	28700	0.0088	-
0.9124	28800	0.0046	-
0.9156	28900	0.0038	-
0.9187	29000	0.0132	-
0.9219	29100	0.0128	-
0.9251	29200	0.0141	-
0.9282	29300	0.0033	-
0.9314	29400	0.0103	-
0.9346	29500	0.034	-
0.9377	29600	0.0036	-
0.9409	29700	0.0229	-
0.9441	29800	0.0113	-
0.9473	29900	0.0136	-
0.9504	30000	0.0283	-
0.9536	30100	0.0181	-
0.9568	30200	0.0108	-
0.9599	30300	0.0208	-
0.9631	30400	0.0227	-
0.9663	30500	0.0192	-
0.9694	30600	0.0122	-
0.9726	30700	0.0061	-
0.9758	30800	0.039	-
0.9789	30900	0.0115	-
0.9821	31000	0.0122	-
0.9853	31100	0.0085	-
0.9884	31200	0.035	-
0.9916	31300	0.016	-
0.9948	31400	0.0337	-
0.9979	31500	0.0056	-
1.0011	31600	0.0119	-
1.0043	31700	0.0046	-
1.0074	31800	0.005	-
1.0106	31900	0.0076	-
1.0138	32000	0.0067	-
1.0169	32100	0.0047	-
1.0201	32200	0.0144	-
1.0233	32300	0.0434	-
1.0265	32400	0.0357	-
1.0296	32500	0.0062	-
1.0328	32600	0.0336	-
1.0360	32700	0.0352	-
1.0391	32800	0.0043	-
1.0423	32900	0.0148	-
1.0455	33000	0.0042	-
1.0486	33100	0.0044	-
1.0518	33200	0.0155	-
1.0550	33300	0.0251	-
1.0581	33400	0.0092	-
1.0613	33500	0.0207	-
1.0645	33600	0.0074	-
1.0676	33700	0.0352	-
1.0708	33800	0.0071	-
1.0740	33900	0.0083	-
1.0771	34000	0.0119	-
1.0803	34100	0.0073	-
1.0835	34200	0.0282	-
1.0866	34300	0.0097	-
1.0898	34400	0.0062	-
1.0930	34500	0.0127	-
1.0962	34600	0.0117	-
1.0993	34700	0.0163	-
1.1025	34800	0.0221	-
1.1057	34900	0.0145	-
1.1088	35000	0.0073	-
1.1120	35100	0.0065	-
1.1152	35200	0.0333	-
1.1183	35300	0.0048	-
1.1215	35400	0.0169	-
1.1247	35500	0.0045	-
1.1278	35600	0.0272	-
1.1310	35700	0.0065	-
1.1342	35800	0.0026	-
1.1373	35900	0.0139	-
1.1405	36000	0.0219	-
1.1437	36100	0.0132	-
1.1468	36200	0.0087	-
1.1500	36300	0.0038	-
1.1532	36400	0.0322	-
1.1563	36500	0.0109	-
1.1595	36600	0.0059	-
1.1627	36700	0.0072	-
1.1658	36800	0.0026	-
1.1690	36900	0.0115	-
1.1722	37000	0.0288	-
1.1754	37100	0.0018	-
1.1785	37200	0.0091	-
1.1817	37300	0.0095	-
1.1849	37400	0.0066	-
1.1880	37500	0.001	-
1.1912	37600	0.0195	-
1.1944	37700	0.0222	-
1.1975	37800	0.0063	-
1.2007	37900	0.0139	-
1.2039	38000	0.005	-
1.2070	38100	0.0075	-
1.2102	38200	0.0095	-
1.2134	38300	0.0083	-
1.2165	38400	0.0031	-
1.2197	38500	0.0026	-
1.2229	38600	0.0018	-
1.2260	38700	0.0116	-
1.2292	38800	0.0037	-
1.2324	38900	0.0146	-
1.2355	39000	0.0118	-
1.2387	39100	0.009	-
1.2419	39200	0.0078	-
1.2450	39300	0.0118	-
1.2482	39400	0.0061	-
1.2514	39500	0.0154	-
1.2546	39600	0.0161	-
1.2577	39700	0.0051	-
1.2609	39800	0.0113	-
1.2641	39900	0.0047	-
1.2672	40000	0.0051	-
1.2704	40100	0.0054	-
1.2736	40200	0.0085	-
1.2767	40300	0.0097	-
1.2799	40400	0.009	-
1.2831	40500	0.0081	-
1.2862	40600	0.0091	-
1.2894	40700	0.0204	-
1.2926	40800	0.0102	-
1.2957	40900	0.0124	-
1.2989	41000	0.0051	-
1.3021	41100	0.0081	-
1.3052	41200	0.0011	-
1.3084	41300	0.0023	-
1.3116	41400	0.0024	-
1.3147	41500	0.0155	-
1.3179	41600	0.0087	-
1.3211	41700	0.0339	-
1.3243	41800	0.0044	-
1.3274	41900	0.008	-
1.3306	42000	0.0261	-
1.3338	42100	0.0026	-
1.3369	42200	0.0154	-
1.3401	42300	0.0067	-
1.3433	42400	0.0033	-
1.3464	42500	0.0046	-
1.3496	42600	0.011	-
1.3528	42700	0.0054	-
1.3559	42800	0.0154	-
1.3591	42900	0.0016	-
1.3623	43000	0.0261	-
1.3654	43100	0.007	-
1.3686	43200	0.0011	-
1.3718	43300	0.0058	-
1.3749	43400	0.0047	-
1.3781	43500	0.0044	-
1.3813	43600	0.0037	-
1.3844	43700	0.0039	-
1.3876	43800	0.028	-
1.3908	43900	0.0043	-
1.3939	44000	0.0016	-
1.3971	44100	0.0074	-
1.4003	44200	0.0042	-
1.4035	44300	0.0025	-
1.4066	44400	0.0257	-
1.4098	44500	0.0173	-
1.4130	44600	0.0019	-
1.4161	44700	0.0024	-
1.4193	44800	0.0037	-
1.4225	44900	0.004	-
1.4256	45000	0.0015	-
1.4288	45100	0.0062	-
1.4320	45200	0.0044	-
1.4351	45300	0.0022	-
1.4383	45400	0.0013	-
1.4415	45500	0.0038	-
1.4446	45600	0.0016	-
1.4478	45700	0.0129	-
1.4510	45800	0.0027	-
1.4541	45900	0.0039	-
1.4573	46000	0.003	-
1.4605	46100	0.0015	-
1.4636	46200	0.0005	-
1.4668	46300	0.0031	-
1.4700	46400	0.0076	-
1.4732	46500	0.0008	-
1.4763	46600	0.0019	-
1.4795	46700	0.0013	-
1.4827	46800	0.0024	-
1.4858	46900	0.0103	-
1.4890	47000	0.001	-
1.4922	47100	0.0026	-
1.4953	47200	0.0019	-
1.4985	47300	0.002	-
1.5017	47400	0.0023	-
1.5048	47500	0.0019	-
1.5080	47600	0.0032	-
1.5112	47700	0.0201	-
1.5143	47800	0.0023	-
1.5175	47900	0.0019	-
1.5207	48000	0.0016	-
1.5238	48100	0.0017	-
1.5270	48200	0.0077	-
1.5302	48300	0.0188	-
1.5333	48400	0.0014	-
1.5365	48500	0.0057	-
1.5397	48600	0.0012	-
1.5428	48700	0.0021	-
1.5460	48800	0.001	-
1.5492	48900	0.0007	-
1.5524	49000	0.0032	-
1.5555	49100	0.0015	-
1.5587	49200	0.0006	-
1.5619	49300	0.0234	-
1.5650	49400	0.0073	-
1.5682	49500	0.002	-
1.5714	49600	0.0009	-
1.5745	49700	0.0015	-
1.5777	49800	0.0019	-
1.5809	49900	0.0036	-
1.5840	50000	0.0013	-
1.5872	50100	0.0036	-
1.5904	50200	0.0011	-
1.5935	50300	0.0044	-
1.5967	50400	0.0013	-
1.5999	50500	0.0009	-
1.6030	50600	0.0026	-
1.6062	50700	0.0016	-
1.6094	50800	0.0179	-
1.6125	50900	0.0005	-
1.6157	51000	0.0016	-
1.6189	51100	0.0111	-
1.6220	51200	0.0043	-
1.6252	51300	0.0008	-
1.6284	51400	0.0027	-
1.6316	51500	0.0037	-
1.6347	51600	0.0039	-
1.6379	51700	0.0295	-
1.6411	51800	0.0041	-
1.6442	51900	0.0026	-
1.6474	52000	0.001	-
1.6506	52100	0.0008	-
1.6537	52200	0.0016	-
1.6569	52300	0.0009	-
1.6601	52400	0.0013	-
1.6632	52500	0.0008	-
1.6664	52600	0.0021	-
1.6696	52700	0.0004	-
1.6727	52800	0.0027	-
1.6759	52900	0.0006	-
1.6791	53000	0.0002	-
1.6822	53100	0.0005	-
1.6854	53200	0.0054	-
1.6886	53300	0.0004	-
1.6917	53400	0.0015	-
1.6949	53500	0.0013	-
1.6981	53600	0.0016	-
1.7013	53700	0.0072	-
1.7044	53800	0.0014	-
1.7076	53900	0.0054	-
1.7108	54000	0.0031	-
1.7139	54100	0.0018	-
1.7171	54200	0.0177	-
1.7203	54300	0.0014	-
1.7234	54400	0.0019	-
1.7266	54500	0.0012	-
1.7298	54600	0.0005	-
1.7329	54700	0.0013	-
1.7361	54800	0.0032	-
1.7393	54900	0.0028	-
1.7424	55000	0.0012	-
1.7456	55100	0.005	-
1.7488	55200	0.0059	-
1.7519	55300	0.001	-
1.7551	55400	0.0032	-
1.7583	55500	0.0006	-
1.7614	55600	0.01	-
1.7646	55700	0.0014	-
1.7678	55800	0.0012	-
1.7709	55900	0.002	-
1.7741	56000	0.0024	-
1.7773	56100	0.0006	-
1.7805	56200	0.002	-
1.7836	56300	0.0019	-
1.7868	56400	0.0004	-
1.7900	56500	0.001	-
1.7931	56600	0.0032	-
1.7963	56700	0.0004	-
1.7995	56800	0.0015	-
1.8026	56900	0.0013	-
1.8058	57000	0.0015	-
1.8090	57100	0.0024	-
1.8121	57200	0.0071	-
1.8153	57300	0.0096	-
1.8185	57400	0.0008	-
1.8216	57500	0.0043	-
1.8248	57600	0.0011	-
1.8280	57700	0.0009	-
1.8311	57800	0.0054	-

Framework Versions

Python: 3.10.12
Sentence Transformers: 3.3.1
Transformers: 4.49.0.dev0
PyTorch: 2.5.1+cu121
Accelerate: 1.2.1
Datasets: 3.2.0
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}

anhtuansh
/

modernBERT-ft-2e

SentenceTransformer based on answerdotai/ModernBERT-base

Model Details

Model Description

Model Sources

Full Model Architecture

Usage

Direct Usage (Sentence Transformers)

Evaluation

Metrics

Triplet

Training Details

Training Dataset

Unnamed Dataset

Evaluation Dataset

Unnamed Dataset

Training Hyperparameters

Non-Default Hyperparameters

All Hyperparameters

Training Logs

Framework Versions

Citation

BibTeX

Sentence Transformers

MultipleNegativesRankingLoss

Model tree for anhtuansh/modernBERT-ft-2e

Evaluation results