SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 9 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
1.0	'[해외] 육아용품 국경 새 Swaddling 침낭 안티 점프 퀼트 사계절 신생아 긴팔 손 M (월 월) (크기 큰 겨울)_라이트 그린 (포켓) 출산/육아 > 유아침구 > 겉싸개' '조아뜨 아기 여름 겉싸개 신생아 여름용 누비 봄 겉싸보 C 플라워겉싸개(여름용)+턱받이 출산/육아 > 유아침구 > 겉싸개' '[슈슈비] 가을 신생아 속싸개 블랭킷 스타양면속싸개 출산/육아 > 유아침구 > 겉싸개'
8.0	'신생아 유아 돌 아기 어린이집 낮잠 베개 배게 송송필로우 미니고미 출산/육아 > 유아침구 > 유아베개' '이몽 가슴안정 좁쌀 태열베개 4구획/6구획 (모로반사,신생아,아기,냉감) 피그먼트 누빔(4구획)_그레이 출산/육아 > 유아침구 > 유아베개' '굿나잇 베이비 꿀잠블랭킷 Hug me Small_아이보리 출산/육아 > 유아침구 > 유아베개'
6.0	'[엘라바] 특허받은 무소음 스와들 스트랩 2개세트 에어로쿨(화이트)S_면매쉬(화이트)M 출산/육아 > 유아침구 > 속싸개' '리코타입 속싸개 오리지널 얇은 2벌 세트 아기양말 제공 나비잠 스와들 신생아 출산준비 뉴본+뉴본플러스_피치_베이지 출산/육아 > 유아침구 > 속싸개' '핀츠빈 스와들 태열 신생아 오가닉 나비잠 속싸개 라이트_화이트_M 출산/육아 > 유아침구 > 속싸개'
7.0	'어린이용 잠옷 침낭 집에서 입을 수 있는 유아용 코튼 피그 베이비_150 cm 출산/육아 > 유아침구 > 아기이불/요/패드' '요루거즈 블랭킷 아기 유아 신생아 어린이집 낮잠 이불 유모차 2중(85x110)_체리라마 출산/육아 > 유아침구 > 아기이불/요/패드' '[갤러리아] [리틀아카이브][크레므앙팡] 텔라 모달 낮잠패드세트(J)+베개솜(한화갤러리아㈜ 센터시티) 블루 출산/육아 > 유아침구 > 아기이불/요/패드'
5.0	'꼬마 이불가방 58X40cm 1p 이불가방 아기 어린이집 그린 출산/육아 > 유아침구 > 보낭/슬리핑백' '베이비[블루독]클라우드퀼팅슬리핑가운 41A7000902 M 출산/육아 > 유아침구 > 보낭/슬리핑백' '오가닉맘 /필로스슬리핑백(MIFLSL03) 크림_m 출산/육아 > 유아침구 > 보낭/슬리핑백'
3.0	'아망떼 순면 모달 귀여운 어린이집 낮잠이불 모음 51.레오파드 범퍼 핑크_6개세트 출산/육아 > 유아침구 > 낮잠이불' '어린이집 낮잠이불 세트 순면 워싱 마이크로 자수 양면 아기낮잠이불 소프트피치_미드나잇블루_패드+베개(고급일반솜) 출산/육아 > 유아침구 > 낮잠이불' '분리형낮잠이불 어린이집 순면 토끼 아기 낮잠 이불 베개 20X40(솜포함)_블루 출산/육아 > 유아침구 > 낮잠이불'
4.0	'리틀아카이브크레므앙팡] 치포 밍크 유모차 블랭킷 B(75X100) 핑크 출산/육아 > 유아침구 > 방수요' '디유 순면 유아 방수패드 소형 대형 대형_피치 출산/육아 > 유아침구 > 방수요' '뮤라 에어와플방수요 방수패드 M 미디움사이즈(100x130) 실버클라우드 출산/육아 > 유아침구 > 방수요'
0.0	'[DIY+동영상]뚱이 코튼 Big 코바늘 뜨개질 손뜨개인형 027 화이트 출산/육아 > 유아침구 > DIY아기용품' '[갤러리아] (출산선물)루팅타올(APA-10901)선물포장+손수건(한화갤러리아㈜ 진주점) 아이보리 출산/육아 > 유아침구 > DIY아기용품' '릴리팟 이유식 냄비/통3중/편수냄비/밀크팬/이유식조리도구/국민이유식냄비/이유식조리도구 이유식냄비 출산/육아 > 유아침구 > DIY아기용품'
2.0	'마롤로뜨 아기 침대 범퍼가드 신생아 쿠션 바디필로우 이케아 벨라 보니 스마트 쁘띠라뺑 내추럴아이보리_이케아S (소형) 출산/육아 > 유아침구 > 기타유아침구' '[현대백화점][M밍크뮤M7]33W70ABS01 체리모달낮잠이불SET (33W70ABS01)/유아잡화/출산준비 [00001] 피치/FREE(85X115cm) 출산/육아 > 유아침구 > 기타유아침구' '마롤로뜨 100수 누빔 자수 아기 바디필로우 죽부인 베개 롱쿠션 애착베개 11.자수 누빔 아기죽부인_상큼체리 출산/육아 > 유아침구 > 기타유아침구'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bc24")
# Run inference
preds = model("순면 모달 귀여운 어린이집 낮잠이불 풀세트 30.디노디노 낮잠패드_패드단품 출산/육아 > 유아침구 > 낮잠이불")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	7	15.1397	27

Label	Training Sample Count
0.0	70
1.0	70
2.0	70
3.0	70
4.0	70
5.0	70
6.0	70
7.0	70
8.0	70

Training Hyperparameters

batch_size: (256, 256)
num_epochs: (30, 30)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 50
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0081	1	0.517	-
0.4032	50	0.4962	-
0.8065	100	0.4906	-
1.2097	150	0.454	-
1.6129	200	0.0667	-
2.0161	250	0.0003	-
2.4194	300	0.0001	-
2.8226	350	0.0001	-
3.2258	400	0.0	-
3.6290	450	0.0	-
4.0323	500	0.0	-
4.4355	550	0.0	-
4.8387	600	0.0	-
5.2419	650	0.0	-
5.6452	700	0.0	-
6.0484	750	0.0	-
6.4516	800	0.0	-
6.8548	850	0.0	-
7.2581	900	0.0	-
7.6613	950	0.0	-
8.0645	1000	0.0	-
8.4677	1050	0.0	-
8.8710	1100	0.0	-
9.2742	1150	0.0	-
9.6774	1200	0.0	-
10.0806	1250	0.0	-
10.4839	1300	0.0	-
10.8871	1350	0.0	-
11.2903	1400	0.0	-
11.6935	1450	0.0	-
12.0968	1500	0.0	-
12.5	1550	0.0	-
12.9032	1600	0.0	-
13.3065	1650	0.0	-
13.7097	1700	0.0	-
14.1129	1750	0.0	-
14.5161	1800	0.0	-
14.9194	1850	0.0	-
15.3226	1900	0.0	-
15.7258	1950	0.0	-
16.1290	2000	0.0	-
16.5323	2050	0.0	-
16.9355	2100	0.0	-
17.3387	2150	0.0	-
17.7419	2200	0.0	-
18.1452	2250	0.0	-
18.5484	2300	0.0	-
18.9516	2350	0.0	-
19.3548	2400	0.0	-
19.7581	2450	0.0	-
20.1613	2500	0.0	-
20.5645	2550	0.0	-
20.9677	2600	0.0	-
21.3710	2650	0.0	-
21.7742	2700	0.0	-
22.1774	2750	0.0	-
22.5806	2800	0.0	-
22.9839	2850	0.0	-
23.3871	2900	0.0	-
23.7903	2950	0.0	-
24.1935	3000	0.0	-
24.5968	3050	0.0	-
25.0	3100	0.0	-
25.4032	3150	0.0	-
25.8065	3200	0.0	-
26.2097	3250	0.0	-
26.6129	3300	0.0	-
27.0161	3350	0.0	-
27.4194	3400	0.0	-
27.8226	3450	0.0	-
28.2258	3500	0.0	-
28.6290	3550	0.0	-
29.0323	3600	0.0	-
29.4355	3650	0.0	-
29.8387	3700	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_bc24