SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 8 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
1.0	'윌슨 테니스 진동 방지 2개들이 PROFEEL 프로필 WRZ537700 스포츠/레저>테니스>기타테니스용품' '국제 단추엘보 대 2단 1개입 엘보링 테니스라켓 댐프너 스포츠/레저>테니스>기타테니스용품' '테니스 라켓거치대 배드민턴채 진열대 수납 보관대 스포츠/레저>테니스>기타테니스용품'
5.0	'윌슨 클래시 100 투어 테니스라켓 WR005711 스포츠/레저>테니스>테니스라켓' '요넥스 아스트렐 100 테니스라켓 YY1209RT030 스포츠/레저>테니스>테니스라켓' '낫소 옵티멈 투어 테니스라켓 스포츠/레저>테니스>테니스라켓'
2.0	'슈퍼스트링 갓클래스 신의클래스 122 127 12M 스포츠/레저>테니스>스트링' '낫소 다이너마이트 테니스 스트링 200M 스포츠/레저>테니스>스트링' 'LUXILON 럭실론 테니스 스트링 거트 롤 알루파워 러프 1 25 200m WRZ9902 스포츠/레저>테니스>스트링'
4.0	'낫소스포츠 낫소 통볼 T-507C 스포츠/레저>테니스>테니스공' '신신상사 스타스포츠 매치포인트 시합구 TB172 스포츠/레저>테니스>테니스공' '프록시마 매치 포인트 테니스공 스포츠/레저>테니스>테니스공'
0.0	'투나 GENUINE 가죽그립 1 교체용 쿠션그립 리플레이스먼트 테니스 원그립 스포츠/레저>테니스>그립' '낫소 테니스 오버그립 30개입 NSOG-30 스포츠/레저>테니스>그립' '감마 GAMMA Tennis Overgrip Ideal for Tennis Pickleball Squash Badminton and Racquetball Durable and 스포츠/레저>테니스>그립'
3.0	'윌슨 WILSON 테니스 쉴드 슬링백 라켓 가방 스포츠/레저>테니스>테니스가방' '부천정스포츠 라코스테 테니스가방 락팩 L23 스포츠 대용량 가방 스포츠/레저>테니스>테니스가방' '윌슨 더플백 스포츠/레저>테니스>테니스가방'
7.0	'아식스 젤리솔루션 9 올코트 1041A330 600 스포츠/레저>테니스>테니스화' '아식스 COURT SLIDE 3 CLAY OC코트 슬라이드 OC 여성 테니스화 옴니 클레이용 신발 1042A230 220824ASTS 스포츠/레저>테니스>테니스화' '아식스 코트 FF3 올코트 테니스화 여성 1042A220 400 스포츠/레저>테니스>테니스화'
6.0	'윌슨 여성 윈 풀온 플리츠 테니스숏 반바지 클래식네이비 스포츠/레저>테니스>테니스의류' '디아도라 테니스 라이프 그래픽 반팔티셔츠 VIOLET 스포츠/레저>테니스>테니스의류' '라코스테 스포츠 치마바지 테니스 베이직 플리츠 스커트 7WJ JF0990-54G 스포츠/레저>테니스>테니스의류'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_sl30")
# Run inference
preds = model("알로 MATCH POINT 여성 테니스 스커트 스포츠/레저>테니스>테니스의류")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	8.2241	18

Label	Training Sample Count
0.0	70
1.0	70
2.0	70
3.0	70
4.0	50
5.0	70
6.0	70
7.0	70

Training Hyperparameters

batch_size: (256, 256)
num_epochs: (30, 30)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 50
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0094	1	0.4693	-
0.4717	50	0.4966	-
0.9434	100	0.2749	-
1.4151	150	0.0397	-
1.8868	200	0.0179	-
2.3585	250	0.0076	-
2.8302	300	0.0	-
3.3019	350	0.0	-
3.7736	400	0.0	-
4.2453	450	0.0	-
4.7170	500	0.0	-
5.1887	550	0.0	-
5.6604	600	0.0	-
6.1321	650	0.0	-
6.6038	700	0.0	-
7.0755	750	0.0	-
7.5472	800	0.0	-
8.0189	850	0.0	-
8.4906	900	0.0	-
8.9623	950	0.0	-
9.4340	1000	0.0	-
9.9057	1050	0.0	-
10.3774	1100	0.0	-
10.8491	1150	0.0	-
11.3208	1200	0.0	-
11.7925	1250	0.0	-
12.2642	1300	0.0	-
12.7358	1350	0.0	-
13.2075	1400	0.0	-
13.6792	1450	0.0	-
14.1509	1500	0.0	-
14.6226	1550	0.0	-
15.0943	1600	0.0	-
15.5660	1650	0.0	-
16.0377	1700	0.0	-
16.5094	1750	0.0	-
16.9811	1800	0.0	-
17.4528	1850	0.0	-
17.9245	1900	0.0	-
18.3962	1950	0.0	-
18.8679	2000	0.0	-
19.3396	2050	0.0	-
19.8113	2100	0.0	-
20.2830	2150	0.0	-
20.7547	2200	0.0	-
21.2264	2250	0.0	-
21.6981	2300	0.0	-
22.1698	2350	0.0	-
22.6415	2400	0.0	-
23.1132	2450	0.0	-
23.5849	2500	0.0	-
24.0566	2550	0.0	-
24.5283	2600	0.0	-
25.0	2650	0.0	-
25.4717	2700	0.0	-
25.9434	2750	0.0	-
26.4151	2800	0.0	-
26.8868	2850	0.0	-
27.3585	2900	0.0	-
27.8302	2950	0.0	-
28.3019	3000	0.0	-
28.7736	3050	0.0	-
29.2453	3100	0.0	-
29.7170	3150	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_sl30