README.md

---
base_model: huudan123/model_stage3_latest
datasets: []
language: []
library_name: sentence-transformers
metrics:
- pearson_cosine
- spearman_cosine
- pearson_manhattan
- spearman_manhattan
- pearson_euclidean
- spearman_euclidean
- pearson_dot
- spearman_dot
- pearson_max
- spearman_max
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:11498
- loss:CosineSimilarityLoss
widget:
- source_sentence: Prince, người đứng đầu ngân hàng đầu tư và doanh nghiệp toàn cầu
    của Citigroup, sẽ thay thế Sanford Weill làm CEO.
  sentences:
  - Lực lượng Israel bắt giữ nghị sĩ Palestine ở Hebron
  - Chứng khoán Trung Quốc đóng cửa cao hơn vào thứ Ba
  - 'Trung Quốc không còn là điểm đến đầu tư hàng đầu: thăm dò ý kiến'
- source_sentence: Hãng hàng không cho biết một phát hiện tương tự đã được thực hiện
    trên máy bay ở Houston.
  sentences:
  - Những con voi đang tắm.
  - Biên tập viên Tehelka bị lôi kéo vào vụ lừa đảo tấn công tình dục
  - Một máy bay phản lực của hãng hàng không AeroMexico chạy dọc theo đường băng.
- source_sentence: 'HRW: Jordan thiên vị người Palestine từ Syria'
  sentences:
  - Thủ tướng Syria đào tẩu sang Jordan
  - Người biểu tình Thái Lan kêu gọi tổng đình công
  - Hai người đàn ông châu Á và một phụ nữ đang thư giãn trên ghế massage.
- source_sentence: Một đen đứng cạnh vật liệu tại một công trường xây dựng.
  sentences:
  - Một đen đứng trong một căn phòng đang được xây dựng.
  - Tôi muốn nói rằng nó phụ thuộc vào kết quả cuối cùng mà bạn muốn?
  - Một người đang vẽ.
- source_sentence: Đụng độ giáo phái làm rung chuyển thành phố Lebanon, 3 người thiệt
    mạng
  sentences:
  - Vụ nổ bom làm rung chuyển trung tâm mua sắm ở Nigeria, 12 người thiệt mạng
  - Tay súng giết chết 6 người trong vụ xả súng tại ngôi đền Sikh Wisconsin
  - Sáu thành viên đảng Dân chủ và hai đảng viên Cộng hòa đang tranh cử ghế của bà
    và đã đủ điều kiện tham gia cuộc bỏ phiếu sơ bộ ngày 3/2.
model-index:
- name: SentenceTransformer based on huudan123/model_stage3_latest
  results:
  - task:
      type: semantic-similarity
      name: Semantic Similarity
    dataset:
      name: sts evaluator
      type: sts-evaluator
    metrics:
    - type: pearson_cosine
      value: 0.8350055271775176
      name: Pearson Cosine
    - type: spearman_cosine
      value: 0.841042354007397
      name: Spearman Cosine
    - type: pearson_manhattan
      value: 0.8264494542351044
      name: Pearson Manhattan
    - type: spearman_manhattan
      value: 0.8369639138966621
      name: Spearman Manhattan
    - type: pearson_euclidean
      value: 0.8275561624506375
      name: Pearson Euclidean
    - type: spearman_euclidean
      value: 0.8380427776305215
      name: Spearman Euclidean
    - type: pearson_dot
      value: 0.8132919055349899
      name: Pearson Dot
    - type: spearman_dot
      value: 0.817738461289994
      name: Spearman Dot
    - type: pearson_max
      value: 0.8350055271775176
      name: Pearson Max
    - type: spearman_max
      value: 0.841042354007397
      name: Spearman Max
---

# SentenceTransformer based on huudan123/model_stage3_latest

This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [huudan123/model_stage3_latest](https://huggingface.co/huudan123/model_stage3_latest). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

## Model Details

### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [huudan123/model_stage3_latest](https://huggingface.co/huudan123/model_stage3_latest) <!-- at revision 568b8c728bf8997a2b59dbd3a2653c85a89b795c -->
- **Maximum Sequence Length:** 256 tokens
- **Output Dimensionality:** 768 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)

### Full Model Architecture

```
SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```

## Usage

### Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

```bash
pip install -U sentence-transformers
```

Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("huudan123/model_stage4_latest")
# Run inference
sentences = [
    'Đụng độ giáo phái làm rung chuyển thành phố Lebanon, 3 người thiệt mạng',
    'Vụ nổ bom làm rung chuyển trung tâm mua sắm ở Nigeria, 12 người thiệt mạng',
    'Tay súng giết chết 6 người trong vụ xả súng tại ngôi đền Sikh Wisconsin',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```

<!--
### Direct Usage (Transformers)

<details><summary>Click to see the direct usage in Transformers</summary>

</details>
-->

<!--
### Downstream Usage (Sentence Transformers)

You can finetune this model on your own dataset.

<details><summary>Click to expand</summary>

</details>
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

## Evaluation

### Metrics

#### Semantic Similarity
* Dataset: `sts-evaluator`
* Evaluated with [<code>EmbeddingSimilarityEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.EmbeddingSimilarityEvaluator)

| Metric             | Value     |
|:-------------------|:----------|
| pearson_cosine     | 0.835     |
| spearman_cosine    | 0.841     |
| pearson_manhattan  | 0.8264    |
| spearman_manhattan | 0.837     |
| pearson_euclidean  | 0.8276    |
| spearman_euclidean | 0.838     |
| pearson_dot        | 0.8133    |
| spearman_dot       | 0.8177    |
| pearson_max        | 0.835     |
| **spearman_max**   | **0.841** |

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Hyperparameters
#### Non-Default Hyperparameters

- `overwrite_output_dir`: True
- `eval_strategy`: epoch
- `per_device_train_batch_size`: 256
- `per_device_eval_batch_size`: 256
- `learning_rate`: 2e-06
- `weight_decay`: 0.01
- `num_train_epochs`: 20
- `warmup_ratio`: 0.1
- `fp16`: True
- `load_best_model_at_end`: True
- `gradient_checkpointing`: True

#### All Hyperparameters
<details><summary>Click to expand</summary>

- `overwrite_output_dir`: True
- `do_predict`: False
- `eval_strategy`: epoch
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 256
- `per_device_eval_batch_size`: 256
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 2e-06
- `weight_decay`: 0.01
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 20
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: True
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: True
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`: 
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `eval_use_gather_object`: False
- `batch_sampler`: batch_sampler
- `multi_dataset_batch_sampler`: proportional

</details>

### Training Logs
| Epoch   | Step   | loss       | sts-evaluator_spearman_max |
|:-------:|:------:|:----------:|:--------------------------:|
| 0       | 0      | -          | 0.8480                     |
| **1.0** | **45** | **0.0354** | **0.8492**                 |
| 2.0     | 90     | 0.0293     | 0.8473                     |
| 3.0     | 135    | 0.0267     | 0.8446                     |
| 4.0     | 180    | 0.0253     | 0.8429                     |
| 5.0     | 225    | 0.0253     | 0.8424                     |
| 6.0     | 270    | 0.0241     | 0.8410                     |

* The bold row denotes the saved checkpoint.

### Framework Versions
- Python: 3.10.12
- Sentence Transformers: 3.0.1
- Transformers: 4.44.0
- PyTorch: 2.4.0+cu121
- Accelerate: 0.33.0
- Datasets: 2.21.0
- Tokenizers: 0.19.1

## Citation

### BibTeX

#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->