SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 12 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
5.0	'시세이도 티스 딥 오프 오일 280ml/딥클렌징오일/ 옵션없음 디바1004' "[1+1] 달바 비건 세럼 클렌저 펌프형 150mlX2개 [세트] 세럼클렌저'펌프형' 150ml(2개) 주식회사 달바글로벌" '비플레인 클렌징 오일 순한 녹두 클렌징 오일 200ml 옵션없음 베나 스토어'
9.0	'토니모리 더 촉촉 그린티 노-워시 클렌징 티슈 100매 옵션없음 (SJ)이커머스' '[비욘드] 라이스밀크 마일드딥클렌징티슈 50 매 옵션없음 (주)엘지생활건강' '코스알엑스 원스텝 모이스쳐 업 패드 70매 140ml 옵션없음 주식회사 다올연구소'
3.0	'히노끼 퓨어바 식물나라 100g 4입 3개 옵션없음 이프니드' '두레생협 수제온가족보습비누 옵션없음 이프니드' '[코스트코] 아이보리 오리지널 비누 (113g, 10개) 옵션없음 아담상회(주)'
10.0	'인셀덤 엑티브 클린업 파우더 90g 래디언솜 앰플 아이코스메틱' '[정품보장] 인셀덤 엑티브 클린업 파우더 90g 옵션없음 신우유통' '동국제약 센텔리안24 마데카 엔자임 클렌징 파우더 60g x 1개 동국제약 센텔리안'
2.0	'1개 청미정 알로에 발효 클렌징밀크 옵션없음 주식회사 모아박스' '1개 청미정 알로에 발효 클렌징 밀크 옵션없음 주식회사 모아박스' '피토메르 레데마끼앙 클렌징밀크 250ml+해면 옵션없음 주식회사 알래스카(ALASKA)'
0.0	'오큐소프트 리드스크럽 플러스 눈꺼풀세정제 눈세척 눈청소 눈기름샘 마이봄샘 다래끼 아이클린 11203414 오큐소프트 리드스크럽플러스 오큐소프트 리드스크럽플러스 메이써니' '해서린 선셋 원킬 리무버 패드, 170ml, 1개 옵션없음 건강드림' '바닐라코 립앤아이 리무버 클리어 100ml 옵션없음 뉴베이스'
11.0	'마미레시피 황유자 고마쥬 클렌저 100ml 1개 옵션없음 건강드림' '폰즈 딥클렌징폼 스파 200ml 1+1 [00001] 없음 디휴니' '바이오가 판테놀 클렌징폼 500ml 옵션없음 잡(Job)상인'
8.0	'MP 크린징 크림 순한 클렌저 화장 지우기 촉촉한 클렌징 노폐물제거 300ml 묵은각질 옵션없음 민트펌킨' '과일나라 첫물녹차 프레시 클렌징 크림 x3개 옵션없음 뷰티디자인' '파인앤유 녹차 클렌징 크림 500g 딥클렌징 옵션없음 파인앤유'
6.0	'바이오더마 센시비오 H2O 500ml 옵션없음 브이브이에스' '브링그린 티트리시카센시티브클렌징워터500mL_NEW 브링그린 티트리시카센시티브클렌징워터500mL_ 로프트' '[아일릿 민주PICK]바이오더마 하이드라비오 H2O 500ml 옵션없음 브이브이에스'
7.0	'코스알엑스 약산성 굿모닝 젤 클렌저 150ml 9792539 옵션없음 에필로리아' '벨프리모 안티크네 젤클렌져 안티크네 세범 리듀서(토너) 300ml 주식회사 소통' '라로슈포제 시카플라스트 라방 B5 200ml 옵션없음 주식회사 엠디글로벌'
4.0	'[EVENT] 블랑루스 나이트루틴 클렌징세트 블랑루스 공식몰' '[갤러리아] [OVIS] SHEEPS MILK SOAP GRAPEFRUITS ALGAE 옵션없음 한화갤러리아(주)' '디오메르 페이셜 클렌징 세트 디오메르'
1.0	'[Vegan] 아임프롬 피그 스크럽 마스크 120g +피그 스크럽 마스크 30g 옵션없음 랩앤컴퍼니(주)' '셀리맥스 바디 브라이트닝 패드 60매 / 색소 침착 미백 케어 팔꿈치 무릎 바디 브라이트닝 패드 1개 (주)앱솔브랩' '메디필 엑스트라 슈퍼9 플러스 2.0 기획 (피지연화제) 옵션없음 덩이네'

Evaluation

Metrics

Label	Accuracy
all	0.6903

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bt9_test")
# Run inference
preds = model("[당일출고] 비플레인 녹두 약산성 클렌징폼 160ml 옵션없음 제이에이치컴퍼니")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.0359	19

Label	Training Sample Count
0.0	20
1.0	27
2.0	20
3.0	27
4.0	15
5.0	20
6.0	20
7.0	18
8.0	20
9.0	22
10.0	17
11.0	25

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (50, 50)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 60
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0333	1	0.4927	-
1.6667	50	0.4009	-
3.3333	100	0.1238	-
5.0	150	0.0523	-
6.6667	200	0.0156	-
8.3333	250	0.0022	-
10.0	300	0.0003	-
11.6667	350	0.0002	-
13.3333	400	0.0002	-
15.0	450	0.0001	-
16.6667	500	0.0001	-
18.3333	550	0.0001	-
20.0	600	0.0001	-
21.6667	650	0.0001	-
23.3333	700	0.0001	-
25.0	750	0.0001	-
26.6667	800	0.0001	-
28.3333	850	0.0001	-
30.0	900	0.0001	-
31.6667	950	0.0001	-
33.3333	1000	0.0001	-
35.0	1050	0.0001	-
36.6667	1100	0.0001	-
38.3333	1150	0.0001	-
40.0	1200	0.0001	-
41.6667	1250	0.0001	-
43.3333	1300	0.0001	-
45.0	1350	0.0	-
46.6667	1400	0.0	-
48.3333	1450	0.0001	-
50.0	1500	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_bt9_test