setfit_ar_hs / README.md
akhooli's picture
Push model using huggingface_hub.
04dd0b8 verified
|
raw
history blame
10.6 kB
metadata
base_model: akhooli/sbert_ar_nli_500k_norm
library_name: setfit
metrics:
  - accuracy
pipeline_tag: text-classification
tags:
  - setfit
  - sentence-transformers
  - text-classification
  - generated_from_setfit_trainer
widget:
  - text: >-
      عيب يا كلبة لما تجيبي سيرة مصر وتقولي عليها شعب فقير ومشرد يا لبنانيين يا
      انجاس, فعلا ده انتو شعب كلاب
  - text: قوية
  - text: |-
      #لو_ينقطع_المكياج
      اتوقع في هالزمن الذكور اللي بيبكون عليه مو البنات😂😂
  - text: كول هوا وسد بوزك معلمك لجاسوس لمجرم بدو شد شعر لشايب
  - text: هاد سعودي ، وانت خليك بحالك يا سوري ولا انت تقليد سوري
inference: true
model-index:
  - name: SetFit with akhooli/sbert_ar_nli_500k_norm
    results:
      - task:
          type: text-classification
          name: Text Classification
        dataset:
          name: Unknown
          type: unknown
          split: test
        metrics:
          - type: accuracy
            value: 0.8604206500956023
            name: Accuracy

SetFit with akhooli/sbert_ar_nli_500k_norm

This is a SetFit model that can be used for Text Classification. This SetFit model uses akhooli/sbert_ar_nli_500k_norm as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Model Labels

Label Examples
negative
  • 'نحن نثق بال قضاء اللبناني'
  • 'مابين السطور.....\nالمنطقة الآمنة ستكون منطقة آمنة برعاية أمريكية لحماية الأكراد من تركيا.....'
  • 'لم يكن خطاب الوزير جبران باسيل في إفتتاح القمة الإقتصادية بمستوى تطلعات اللبنانيين فبدل أن يركز لإطلاع الوفود على ما يع...'
positive
  • 'هيدا العلم صار مماسح للصرامي انت عايشه بكوكب تاني حالتك بالويل الشهره مش هيك وحياتك لما بتك...'
  • 'سليل الحسب فعلا سليل الجحش ابن الجحش ابن الوحش سليله حيونه بامتياز'
  • 'سارقا من عند اومك مش شايف قديش بتشبها هيدي كانت تقعدك عليها لما تعزب يا نوتي ونسيت قلك كول هوا'

Evaluation

Metrics

Label Accuracy
all 0.8604

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("akhooli/setfit_ar_hs")
# Run inference
preds = model("قوية")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 1 14.4687 102
Label Training Sample Count
negative 2669
positive 3200

Training Hyperparameters

  • batch_size: (32, 32)
  • num_epochs: (1, 1)
  • max_steps: 6000
  • sampling_strategy: undersampling
  • body_learning_rate: (2e-05, 1e-05)
  • head_learning_rate: 0.01
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • l2_weight: 0.01
  • seed: 42
  • run_name: setfit_hate_32k_aub_6k
  • eval_max_steps: -1
  • load_best_model_at_end: False

Training Results

Epoch Step Training Loss Validation Loss
0.0003 1 0.3207 -
0.0333 100 0.2837 -
0.0667 200 0.2406 -
0.1 300 0.1982 -
0.1333 400 0.1447 -
0.1667 500 0.1014 -
0.2 600 0.0791 -
0.2333 700 0.0578 -
0.2667 800 0.0406 -
0.3 900 0.0304 -
0.3333 1000 0.0282 -
0.3667 1100 0.0263 -
0.4 1200 0.0203 -
0.4333 1300 0.0195 -
0.4667 1400 0.0169 -
0.5 1500 0.0157 -
0.5333 1600 0.0137 -
0.5667 1700 0.0107 -
0.6 1800 0.0138 -
0.6333 1900 0.0104 -
0.6667 2000 0.0083 -
0.7 2100 0.0074 -
0.7333 2200 0.0089 -
0.7667 2300 0.0082 -
0.8 2400 0.0066 -
0.8333 2500 0.0063 -
0.8667 2600 0.0075 -
0.9 2700 0.006 -
0.9333 2800 0.0065 -
0.9667 2900 0.0084 -
1.0 3000 0.007 -
1.0333 3100 0.0039 -
1.0667 3200 0.006 -
1.1 3300 0.0039 -
1.1333 3400 0.004 -
1.1667 3500 0.0051 -
1.2 3600 0.0034 -
1.2333 3700 0.0041 -
1.2667 3800 0.0047 -
1.3 3900 0.0045 -
1.3333 4000 0.0031 -
1.3667 4100 0.0026 -
1.4 4200 0.0031 -
1.4333 4300 0.0027 -
1.4667 4400 0.0027 -
1.5 4500 0.0026 -
1.5333 4600 0.0026 -
1.5667 4700 0.0045 -
1.6 4800 0.0022 -
1.6333 4900 0.0031 -
1.6667 5000 0.0019 -
1.7 5100 0.003 -
1.7333 5200 0.0026 -
1.7667 5300 0.0015 -
1.8 5400 0.0023 -
1.8333 5500 0.0013 -
1.8667 5600 0.002 -
1.9 5700 0.002 -
1.9333 5800 0.002 -
1.9667 5900 0.0013 -
2.0 6000 0.0025 -

Framework Versions

  • Python: 3.10.14
  • SetFit: 1.2.0.dev0
  • Sentence Transformers: 3.3.0
  • Transformers: 4.45.1
  • PyTorch: 2.4.0
  • Datasets: 3.0.1
  • Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}