mini1013/master_cate_sl13

SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: mini1013/master_domain
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 512 tokens
• Number of Classes: 13 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
4.0	'쇼크 닥터 스포츠/레저>보호용품>몸통보호대' '지폼 흉골 심장보호대 M SN020201 스포츠/레저>보호용품>몸통보호대' '격투기보호대 보호구 무에타이 가드 가슴 훈련 복부 스포츠/레저>보호용품>몸통보호대'
3.0	'UNKNOWN 언더아머 UNDER ARMOUR 럭비 레귤러 헤드 캡 럭비 헤드 기어 MEN 맨즈 TEAM UA RUGBY REGULAR H 스포츠/레저>보호용품>머리보호대' '에버라스트 머리보호대 USA 가죽 헤드기어 S EVULHG03 스포츠/레저>보호용품>머리보호대' '클레토레예스 CLETO REYES Cheek Protection 헤드기어 남녀공용 스몰 스포츠/레저>보호용품>머리보호대'
6.0	'이지중량밴드 2kg 1kg 2개세트 중량밴드 모래주머니 중량밴드 발목중량밴드 EU322 스포츠/레저>보호용품>발목보호대' '조깅 모래주머니 홈트 중량밴드 2개 산책 군인발목보호대 레져 스포츠/레저>보호용품>발목보호대' 'OS1st FS6 미국특허 종아리 발목 보호대 밴드 아대 스포츠 등산 축구 운동 스포츠/레저>보호용품>발목보호대'
0.0	'손바닥 훈련용 낭심보호대 운동 스파링 복싱 태권도 격투기논슬립 메쉬 패드 손목 보호장갑 스포츠/레저>보호용품>급소보호대' '3M 프로텍트 컴포트 시공 스타일 포지셔닝 하니스 2X-대 1개케이스 1161208 스포츠/레저>보호용품>급소보호대' '위닝 스탠다드 그로인가드 훈련 낭심보호대 컵 성인 스포츠/레저>보호용품>급소보호대'
2.0	'파펜 독일 민트 마우스 가드 스포츠/레저>보호용품>마우스피스' '마우스피스더블 팔 정강이 보호대 페이스마스크 장비SG 아대 호구 헤드기어 장갑 샅보대 스포츠/레저>보호용품>마우스피스' 'BATTLE 배틀 3D Predator Oxygen 풋볼 마우스가드 피스 미식축구 보호 스포츠/레저>보호용품>마우스피스'
10.0	'ATEX 스포츠텍스 A450 5cm x 5m 스포츠/레저>보호용품>테이핑요법' 'UNKNOWN 나사라 퀵스트립 엘보우 근육테이프 스포츠/레저>보호용품>테이핑요법' '파워풀엑스 메디핑 다이아몬드 타입 근육테이프 스포츠/레저>보호용품>테이핑요법'
12.0	'하빈져 맨즈 헥스코어 벨트 헬스벨트 리프팅 복대 허리보호대 스포츠/레저>보호용품>허리보호대' 'SALOMON ADV 스킨 벨트 - 에보니 SKIN BELT EBONY LC1758200 스포츠/레저>보호용품>허리보호대' 'No 1베스트셀러 패키지 하빈져 헬스벨트 5인치 폼코어 벨트 리프팅그립 리유저블백 스포츠/레저>보호용품>허리보호대'
1.0	'플러그피트니스 싱글 정강이 발목 웨이트바 I 편측 발목 운동 레그리프트 스포츠/레저>보호용품>다리보호대' '여자 종아리 압박 밴드 보호대 토시 아대 카프 슬리브 스포츠/레저>보호용품>다리보호대' '키모니 슬개골하단압박용 정강이 보호대 발목 KI20107 스포츠/레저>보호용품>다리보호대'
9.0	'군인 어깨보호대 조절형 어깨 고정 회전근개 보호대 보조기 아대 스포츠 스포츠/레저>보호용품>어깨보호대' '회전근개보호대 헬스 운동 테니스 어깨 아대 보호대 스포츠/레저>보호용품>어깨보호대' '디앤엠 1001 어깨보호대 2라인압박 오십견특수편제법 WDDBB1D 스포츠/레저>보호용품>어깨보호대'
11.0	'OS1st ES6 미국특허 팔꿈치 보호대 엘보우 아대 헬스 테니스 골프 밴드 OS1-65340N 스포츠/레저>보호용품>팔보호대' '키모니 탁터엘보 골프 테니스 배드민턴 엘보 KSP221 스포츠/레저>보호용품>팔보호대' '레토 엘보 팔꿈치 보호대 헬스 테니스 골프 팔 아대 밴드 LSL-EB01 스포츠/레저>보호용품>팔보호대'
5.0	'star 스타 소프트 무릎보호대 WHITE-L XD330 스포츠/레저>보호용품>무릎보호대' '시그맥스 잠스트 무릎보호대 ZK-7 스포츠/레저>보호용품>무릎보호대' '무릎 슬개골 보호대 등산 헬스 테니스 DD-12303 스포츠/레저>보호용품>무릎보호대'
7.0	'SPELISPOS 여성용 긴팔 서핑 슈트 UV 수상 스포츠 타이트한 수영복 바다 해변 고탄성 다이빙 상의 스포츠/레저>보호용품>배보호대' '뉴엘라 캡 59FIFTY 신시내티 레즈로드 62 스포츠/레저>보호용품>배보호대' '더블 프레스 신처 언더 버스트 코르셋 바디 셰이퍼 허리 슬리밍 벨트 지퍼 스포츠/레저>보호용품>배보호대'
8.0	'프로스펙스 다이얼 손목 보호대 아대 밴드 고정 스포츠/레저>보호용품>손목보호대' '디닥착 손목보호대 손목아대 손목밴드 우S 밴드 안함 스포츠/레저>보호용품>손목보호대' '마모디 손목밴드 1 1 스포츠/레저>보호용품>손목보호대'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_sl13")
# Run inference
preds = model("태권도 헤드기어 호구 헬멧 보호장비 킥복싱 스포츠/레저>보호용품>머리보호대")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	2	9.0551	21

Label	Training Sample Count
0.0	70
1.0	69
2.0	70
3.0	70
4.0	69
5.0	70
6.0	70
7.0	70
8.0	70
9.0	69
10.0	70
11.0	70
12.0	70

Training Hyperparameters

• batch_size: (256, 256)
• num_epochs: (30, 30)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 50
• body_learning_rate: (2e-05, 1e-05)
• head_learning_rate: 0.01
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• l2_weight: 0.01
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0056	1	0.5164	-
0.2809	50	0.4982	-
0.5618	100	0.3968	-
0.8427	150	0.2131	-
1.1236	200	0.0919	-
1.4045	250	0.031	-
1.6854	300	0.0171	-
1.9663	350	0.0078	-
2.2472	400	0.0066	-
2.5281	450	0.0002	-
2.8090	500	0.0	-
3.0899	550	0.0	-
3.3708	600	0.0001	-
3.6517	650	0.0	-
3.9326	700	0.0	-
4.2135	750	0.0	-
4.4944	800	0.0001	-
4.7753	850	0.0	-
5.0562	900	0.0	-
5.3371	950	0.0	-
5.6180	1000	0.0	-
5.8989	1050	0.0002	-
6.1798	1100	0.0	-
6.4607	1150	0.0	-
6.7416	1200	0.0	-
7.0225	1250	0.0	-
7.3034	1300	0.0	-
7.5843	1350	0.0	-
7.8652	1400	0.0	-
8.1461	1450	0.0	-
8.4270	1500	0.0	-
8.7079	1550	0.0	-
8.9888	1600	0.0	-
9.2697	1650	0.0	-
9.5506	1700	0.0	-
9.8315	1750	0.0	-
10.1124	1800	0.0	-
10.3933	1850	0.0	-
10.6742	1900	0.0	-
10.9551	1950	0.0	-
11.2360	2000	0.0	-
11.5169	2050	0.0	-
11.7978	2100	0.0	-
12.0787	2150	0.0	-
12.3596	2200	0.0	-
12.6404	2250	0.0	-
12.9213	2300	0.0	-
13.2022	2350	0.0	-
13.4831	2400	0.0	-
13.7640	2450	0.0	-
14.0449	2500	0.0	-
14.3258	2550	0.0	-
14.6067	2600	0.0	-
14.8876	2650	0.0	-
15.1685	2700	0.0	-
15.4494	2750	0.0	-
15.7303	2800	0.0	-
16.0112	2850	0.0	-
16.2921	2900	0.0	-
16.5730	2950	0.0	-
16.8539	3000	0.0	-
17.1348	3050	0.0	-
17.4157	3100	0.0	-
17.6966	3150	0.0	-
17.9775	3200	0.0	-
18.2584	3250	0.0	-
18.5393	3300	0.0	-
18.8202	3350	0.0	-
19.1011	3400	0.0	-
19.3820	3450	0.0	-
19.6629	3500	0.0	-
19.9438	3550	0.0	-
20.2247	3600	0.0	-
20.5056	3650	0.0	-
20.7865	3700	0.0	-
21.0674	3750	0.0	-
21.3483	3800	0.0	-
21.6292	3850	0.0	-
21.9101	3900	0.0	-
22.1910	3950	0.0	-
22.4719	4000	0.0	-
22.7528	4050	0.0	-
23.0337	4100	0.0	-
23.3146	4150	0.0	-
23.5955	4200	0.0	-
23.8764	4250	0.0	-
24.1573	4300	0.0	-
24.4382	4350	0.0	-
24.7191	4400	0.0	-
25.0	4450	0.0	-
25.2809	4500	0.0	-
25.5618	4550	0.0	-
25.8427	4600	0.0	-
26.1236	4650	0.0	-
26.4045	4700	0.0	-
26.6854	4750	0.0	-
26.9663	4800	0.0	-
27.2472	4850	0.0	-
27.5281	4900	0.0	-
27.8090	4950	0.0	-
28.0899	5000	0.0	-
28.3708	5050	0.0	-
28.6517	5100	0.0	-
28.9326	5150	0.0	-
29.2135	5200	0.0	-
29.4944	5250	0.0	-
29.7753	5300	0.0	-

Framework Versions

• Python: 3.10.12
• SetFit: 1.1.0
• Sentence Transformers: 3.3.1
• Transformers: 4.44.2
• PyTorch: 2.2.0a0+81ea7a4
• Datasets: 3.2.0
• Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}