tanbinh2210/vietnamese-bi-encoder-on-vbpl

SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: bkai-foundation-models/vietnamese-bi-encoder
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tanbinh2210/vietnamese-bi-encoder-on-vbpl")
# Run inference
sentences = [
    'Cơ_quan nhà_nước nào có thẩm_quyền ban_hành_văn_bản quy_phạm_pháp_luật về tài_nguyên nước ?',
    'luật sửa_đổi , bổ_sung một_số điều của 37 luật có liên_quan đến quy_hoạch , điều 5 . sửa_đổi , bổ_sung một_số điều của luật tài_nguyên nước , khoản 20 , nội_dung : liên_tỉnh , quy_hoạch tỉnh và quy_hoạch khác có liên_quan theo quy_định của pháp_luật về quy_hoạch , kế_hoạch phát_triển kinh_tế - xã_hội của các địa_phương và các ngành liên_quan đến khai_thác , sử_dụng nước trên các lưu_vực sông ; ” . 20 . sửa_đổi , bổ_sung điểm a và điểm b khoản 2 điều 70 như sau : “ a ) ban_hành theo thẩm_quyền hoặc trình cơ_quan nhà_nước có thẩm_quyền ban_hành và tổ_chức thực_hiện văn_bản quy_phạm_pháp_luật về tài_nguyên nước ; ban_hành quy_chuẩn kỹ_thuật , định_mức , đơn_giá về quy_hoạch tổng_hợp lưu_vực sông liên_tỉnh , nguồn nước liên_tỉnh , quy_hoạch tổng_thể điều_tra cơ_bản tài_nguyên nước , về điều_tra cơ_bản , thăm_dò , khai_thác , sử_dụng , bảo_vệ tài_nguyên nước ; b ) tổ_chức lập , trình thủ_tướng chính_phủ phê_duyệt hoặc phê_duyệt theo thẩm_quyền và tổ_chức thực_hiện chiến_lược tài_nguyên nước , quy_hoạch tài_nguyên nước , quy_hoạch tổng_hợp lưu_vực sông liên_tỉnh , nguồn nước liên_tỉnh , quy_hoạch tổng_thể điều_tra cơ_bản tài_nguyên nước ; quy_trình vận_hành liên_hồ chứa , danh_mục lưu_vực sông , danh_mục nguồn nước ; kế_hoạch điều_tra cơ_bản , điều_hòa , phân_phối tài_nguyên nước , phục_hồi các nguồn nước bị ô_nhiễm , cạn_kiệt ; ” .',
    'luật xây_dựng , điều 150 . điều_kiện của tổ_chức lập thiết_kế quy_hoạch xây_dựng , khoản 2 , nội_dung : chính_phủ có thẩm_quyền sát_hạch , cấp chứng_chỉ hành_nghề hoạt_động xây_dựng các hạng còn lại . điều 150 . điều_kiện của tổ_chức lập thiết_kế quy_hoạch xây_dựng 1 . có đủ điều_kiện năng_lực lập thiết_kế quy_hoạch xây_dựng phù_hợp . 2 . cá_nhân đảm_nhận chức_danh chủ_nhiệm , chủ_trì thiết_kế đồ_án quy_hoạch xây_dựng phải có chứng_chỉ hành_nghề và năng_lực phù_hợp với từng loại quy_hoạch xây_dựng . điều 151 . điều_kiện của tổ_chức lập , thẩm_tra dự_án đầu_tư xây_dựng 1 . có đủ điều_kiện năng_lực hoạt_động xây_dựng phù_hợp với công_việc lập , thẩm_tra dự_án đầu_tư xây_dựng . 2 . cá_nhân đảm_nhận chức_danh chủ_nhiệm lập , thẩm_tra dự_án ; cá_nhân tham_gia lập , thẩm_tra dự_án phải có năng_lực hành_nghề phù_hợp với từng loại dự_án đầu_tư xây_dựng . thành_viên tham_gia phải đủ năng_lực hành_nghề lập dự_án phù_hợp với yêu_cầu của dự_án đầu_tư xây_dựng . điều 152 . điều_kiện của tổ_chức tư_vấn quản_lý dự_án , ban quản_lý dự_án đầu_tư xây_dựng 1 . tổ_chức tư_vấn quản_lý dự_án đầu_tư xây_dựng phải đáp_ứng các điều_kiện sau :',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

• Dataset: json
• Size: 38,845 training samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 8 tokens mean: 19.7 tokens max: 43 tokens	min: 89 tokens mean: 212.92 tokens max: 256 tokens

• Samples:

  query	pos
  Pháp_luật quy_định tỷ_lệ đại_diện của phụ_nữ trong Quốc_hội là bao_nhiêu ?	luật bầu_cử đại_biểu quốc_hội và đại_biểu hội_đồng_nhân_dân , chương ii dự_kiến cơ_cấu , thành_phần và phân_bổ đại_biểu quốc_hội , đại_biểu hội_đồng_nhân_dân ; đơn_vị bầu_cử và khu_vực bỏ_phiếu , điều 8 . dự_kiến cơ_cấu , thành_phần những người được giới_thiệu ứng_cử đại_biểu quốc_hội , khoản 2 , nội_dung : chính trị-xã_hội , tổ_chức xã_hội , lực_lượng_vũ_trang nhân_dân , cơ_quan nhà_nước ở trung_ương và địa_phương được giới_thiệu ứng_cử đại_biểu quốc_hội để bảo_đảm tỷ_lệ đại_diện hợp_lý của các tầng_lớp nhân_dân trong quốc_hội . 2 . số_lượng người dân_tộc_thiểu_số được giới_thiệu ứng_cử đại_biểu quốc_hội do ủy_ban thường_vụ quốc_hội dự_kiến trên cơ_sở đề_nghị của hội_đồng dân_tộc của quốc_hội , bảo_đảm có ít_nhất mười_tám phần_trăm tổng_số người trong danh_sách chính_thức những người ứng_cử đại_biểu quốc_hội là người dân_tộc_thiểu_số . 3 . số_lượng phụ_nữ được giới_thiệu ứng_cử đại_biểu quốc_hội do ủy_ban thường_vụ quốc_hội dự_kiến trên cơ_sở đề_nghị của đoàn_chủ_tịch ban_chấp_hành trung_ương hội liên_hiệp phụ_nữ việt_nam , bảo_đảm có ít_nhất ba mươi_lăm phần_trăm tổng_số người trong danh_sách chính_thức những người ứng_cử đại_biểu quốc_hội là phụ_nữ .
  Làm thế_nào để trích_xuất phạm_nhân để phục_vụ điều_tra , truy_tố , xét_xử ?	luật thi_hành án hình_sự , chương iii thi_hành án phạt tù_mục 1 thủ_tục thi_hành án phạt tù và chế_độ quản_lý giam_giữ , giáo_dục phạm_nhân , điều 40 . thực_hiện trích_xuất phạm_nhân , tiêu_đề : cơ_quan thi_hành án hình_sự công_an cấp huyện phải làm thủ_tục trả tự_do cho người được miễn_chấp_hành án và báo_cáo kết_quả cho cơ_quan quản_lý thi_hành án hình_sự hoặc cơ_quan thi_hành án hình_sự cấp trên . điều 40 . thực_hiện trích_xuất phạm_nhân 1 . cơ_quan , người có thẩm_quyền tiến_hành tố_tụng khi có yêu_cầu trích_xuất phạm_nhân phải gửi văn_bản yêu_cầu cho cơ_quan quản_lý thi_hành án hình_sự , cơ_quan thi_hành án hình_sự công_an cấp tỉnh , cơ_quan thi_hành án hình_sự cấp quân_khu nơi cơ_quan , người có thẩm_quyền tiến_hành tố_tụng có yêu_cầu trích_xuất để yêu_cầu người có thẩm_quyền quy_định tại khoản 2 điều này ra_lệnh trích_xuất . khi nhận được yêu_cầu trích_xuất phạm_nhân , người có thẩm_quyền phải ra_lệnh trích_xuất . 2 . thẩm_quyền trích_xuất phạm_nhân để phục_vụ điều_tra , truy_tố , xét_xử được thực_hiện như sau : a ) thủ_trưởng cơ_quan quản_lý thi_hành án hình_sự thuộc bộ công_an ra_lệnh trích_xuất đối_với phạm_nhân đang chấp_hành án tại trại_giam , trại tạm giam thuộc bộ công_an ;
  Bộ Xây_dựng quy_định những đối_tượng nào được hỗ_trợ về nhà ở xã_hội ?	luật nhà ở , chương iv chính_sách về nhà ở xã_hội mục 1 những quy_định chung , điều 49 . đối_tượng được hưởng chính_sách hỗ_trợ về nhà ở xã_hội , khoản 8 , nội_dung : nghiệp_vụ , hạ_sĩ_quan_chuyên_môn kỹ_thuật , quân_nhân chuyên_nghiệp , công_nhân trong cơ_quan , đơn_vị thuộc công_an nhân_dân và quân_đội nhân_dân ; 7 . cán_bộ , công_chức , viên_chức theo quy_định của pháp_luật về cán_bộ , công_chức , viên_chức ; 8 . các đối_tượng đã trả lại nhà ở công_vụ theo quy_định tại khoản 5 điều 81 của luật này ; 9 . học_sinh , sinh_viên các học_viện , trường đại_học , cao_đẳng , dạy nghề ; học_sinh trường dân_tộc nội_trú công_lập được sử_dụng nhà ở trong thời_gian học_tập ; 10 . hộ gia_đình , cá_nhân thuộc diện bị thu_hồi đất và phải giải_tỏa , phá dỡ nhà ở theo quy_định của pháp_luật mà chưa được nhà_nước bồi_thường bằng nhà ở , đất ở . điều 50 . hình_thức thực_hiện chính_sách hỗ_trợ về nhà ở xã_hội 1 . hỗ_trợ giải_quyết cho thuê , cho thuê mua , bán nhà ở xã_hội cho các đối_tượng quy_định tại các khoản 1 , 4 , 5 , 6 , 7 , 8 và 10 điều 49 của luật này ; đối_với đối_tượng quy_định tại khoản 9 điều 49 của luật này thì chỉ được thuê nhà ở xã_hội .

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

json

• Dataset: json
• Size: 38,845 evaluation samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 9 tokens mean: 19.82 tokens max: 43 tokens	min: 89 tokens mean: 213.78 tokens max: 256 tokens

• Samples:

  query	pos
  Pháp_luật quy_định như_thế_nào về việc tác_động vào thời_tiết khi không được cơ_quan nhà_nước có thẩm_quyền phê_duyệt kế_hoạch tác_động vào thời_tiết ?	luật khí_tượng thủy văn_____________ , chương i quy_định chung , điều 8 . những hành_vi bị nghiêm_cấm , khoản 11 , nội_dung : vi_phạm quy_chuẩn kỹ_thuật , quy_trình chuyên_môn trong hoạt_động khí_tượng thủy_văn . 10 . tác_động vào thời_tiết khi không được cơ_quan nhà_nước có thẩm_quyền phê_duyệt kế_hoạch tác_động vào thời_tiết hoặc trái với kế_hoạch được phê_duyệt . 11 . che_giấu , không cung_cấp hoặc cố_ý cung_cấp sai_lệch , không đầy_đủ , không kịp_thời thông_tin , dữ_liệu khí_tượng thủy_văn . 12 . làm trái quy_định về truyền , phát tin dự_báo , cảnh_báo khí_tượng thủy_văn . 13 . lợi_dụng chức_vụ , quyền_hạn hoặc vượt quá quyền_hạn của người có thẩm_quyền để làm trái quy_định của pháp_luật về khí_tượng thủy_văn . 14 . lợi_dụng hoạt_động hợp_tác quốc_tế về khí_tượng thủy_văn , giám_sát biến_đổi khí_hậu để thực_hiện hành_vi vi_phạm pháp_luật . chương ii quản_lý , khai_thác mạng_lưới trạm khí_tượng thủy_văn điều 9 . nội_dung quản_lý , khai_thác mạng_lưới trạm khí_tượng thủy_văn 1 . xây_dựng quy_hoạch , kế_hoạch phát_triển mạng_lưới trạm khí_tượng thủy_văn . 2 . quan_trắc khí_tượng thủy_văn . 3 . điều_tra , khảo_sát khí_tượng thủy_văn . 4 . quản_lý , bảo_vệ công_trình khí_tượng thủy_văn . 5 . quản_lý chất_lượng phương_tiện đo khí_tượng thủy_văn .
  Đầu_tư xây_dựng cảng biển cần phải phù_hợp với quy_hoạch tổng_thể phát_triển hệ_thống cảng biển như_thế_nào ?	luật sửa_đổi , bổ_sung một_số điều của 37 luật có liên_quan đến quy_hoạch , điều 2 . sửa_đổi , bổ_sung một_số điều của bộ_luật hàng_hải việt_nam , khoản 5 , điểm a : và hướng_dẫn , kiểm_tra thực_hiện quy_hoạch phát_triển hệ_thống cảng cạn đã được phê_duyệt theo quy_định của pháp_luật về quy_hoạch và pháp_luật về hàng_hải . 5 . bộ , cơ_quan ngang bộ và ủy ban_nhân_dân cấp tỉnh có trách_nhiệm : a ) phối_hợp với bộ giao_thông vận_tải tổ_chức quản_lý thực_hiện quy_hoạch phát_triển hệ_thống cảng cạn theo quy_định của bộ_luật này và quy_định khác của pháp_luật có liên_quan ; b ) bảo_đảm quỹ đất để xây_dựng phát_triển cảng cạn theo quy_hoạch phát_triển hệ_thống cảng cạn đã được phê_duyệt . 6 . chính_phủ quy_định chi_tiết việc lập , thẩm_định , phê_duyệt , công_bố , thực_hiện , đánh_giá và điều_chỉnh quy_hoạch phát_triển hệ_thống cảng cạn . ” . 7 . sửa_đổi , bổ_sung khoản 1 điều 83 như sau : “ 1 . đầu_tư xây_dựng cảng biển , luồng hàng_hải phải phù_hợp với quy_hoạch tổng_thể phát_triển hệ_thống cảng biển , quy_hoạch chi_tiết nhóm cảng biển , bến cảng , cầu_cảng , bến phao , khu nước , vùng nước , quy_hoạch chi_tiết phát_triển vùng_đất , vùng nước cảng biển theo quy_định của bộ_luật này , quy_định của pháp_luật về đầu_tư , xây_dựng và quy_định khác của pháp_luật có liên_quan . ” .
  Thân_nhân của người tham_gia bảo_hiểm_xã_hội cần phải làm gì và trong thời_hạn bao_lâu để được hưởng trợ_cấp tuất hằng tháng khi người tham_gia bảo_hiểm_xã_hội chết ?	luật bảo_hiểm_xã_hội , điều 67 . các trường_hợp hưởng trợ_cấp tuất hằng tháng , khoản 3 , nội_dung : người tham_gia bảo_hiểm_xã_hội đang có nghĩa_vụ nuôi_dưỡng theo quy_định của pháp_luật về hôn_nhân và gia_đình nếu dưới 60 tuổi đối_với nam , dưới 55 tuổi đối_với nữ và bị suy_giảm khả_năng lao_động từ 81 % trở lên . 3 . thân_nhân quy_định tại các điểm b , c và d khoản 2 điều này phải không có thu_nhập hoặc có thu_nhập hằng tháng nhưng thấp hơn mức lương cơ_sở . thu_nhập theo quy_định tại luật này không bao_gồm khoản trợ_cấp theo quy_định của pháp_luật về ưu_đãi người có công . 4 . thời_hạn đề_nghị khám giám_định_mức suy_giảm khả_năng lao_động để hưởng trợ_cấp tuất hằng tháng như sau : a ) trong thời_hạn 04 tháng kể từ ngày người tham_gia bảo_hiểm_xã_hội chết thì thân_nhân có nguyện_vọng phải nộp đơn đề_nghị ; b ) trong thời_hạn 04 tháng trước hoặc sau thời_điểm thân_nhân quy_định tại điểm a_khoản 2 điều này hết thời_hạn hưởng trợ_cấp theo quy_định thì thân_nhân có nguyện_vọng phải nộp đơn đề_nghị . điều 68 . mức trợ_cấp tuất hằng tháng

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• per_device_train_batch_size: 10
• per_device_eval_batch_size: 10
• learning_rate: 1e-05
• num_train_epochs: 5
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: True
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 10
• per_device_eval_batch_size: 10
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 5
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
0.1609	500	0.0181
0.3218	1000	0.0119
0.4826	1500	0.0084
0.6435	2000	0.0059
0.8044	2500	0.0075
0.9653	3000	0.0076
1.1261	3500	0.0066
1.2870	4000	0.0041
1.4479	4500	0.0029
1.6088	5000	0.0009
1.7696	5500	0.0011
1.9305	6000	0.002
2.0914	6500	0.0013
2.2523	7000	0.0011
2.4131	7500	0.0008
2.5740	8000	0.0004
2.7349	8500	0.0004
2.8958	9000	0.0005
3.0566	9500	0.0004
3.2175	10000	0.0004
3.3784	10500	0.0005
3.5393	11000	0.0002
3.7001	11500	0.0002
3.8610	12000	0.0002
4.0219	12500	0.0002
4.1828	13000	0.0002
4.3436	13500	0.0003
4.5045	14000	0.0002
4.6654	14500	0.0001
4.8263	15000	0.0001
4.9871	15500	0.0001

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.1.1
• Transformers: 4.44.0
• PyTorch: 2.4.0
• Accelerate: 0.33.0
• Datasets: 2.21.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}