SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 8 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
7.0	'신생아 우주복 백일 돌 아기 외출복 베이비 바디슈트 파고슈트_네이비디_S(3~~6개월) 출산/육아 > 신생아의류 > 우주복'~~ '아기곰돌이후리스 방한 후리스 우주복 신생아 돌아기 겨울 외출복 킨더후리스 베이비슈트_허니옐로우_L(8390cm) 출산/육아 > 신생아의류 > 우주복' '아기 곰돌이 후리스 우주복 털옷 방한 킨더 베이비 슈트 토끼 겨울 신생아 패딩 허니옐로우_베이비슈트 XL (~97cm) (모자별도구매) 출산/육아 > 신생아의류 > 우주복'
3.0	'자수배냇저고리 태명자수 신생아 이름 배냇수트 출산선물 뉴모달배냇수트 - 크림_체리 출산/육아 > 신생아의류 > 배냇저고리' '신생아배넷슈트 아기베넷저고리세트 토끼띠배냇저고리 엔젤저고리세트_66 출산/육아 > 신생아의류 > 배냇저고리' '베이비앤아이 신생아 사계절 배냇저고리 출산 선물세트 2종/3종/4종/5종 여름-3종세트_바니[베이지]_박스미포함 출산/육아 > 신생아의류 > 배냇저고리'
1.0	'아웃도어프로덕츠키즈에센셜조거 팬츠 4종택1 OD231BPT01 120_보라 출산/육아 > 신생아의류 > 레그/스패츠' '오뜨베베 신생아옷 아기옷 남여공용 크리스마스 베이비 유발레깅스 블랙_M 출산/육아 > 신생아의류 > 레그/스패츠' '백화점 신생아 뽀글이 니트 조거 팬츠 고쟁이 바지 2개월 돌 전 아기 옷 겨울 외출복 코제니트팬츠_네이비_S(0~~6개월 60cm~~70cm) 출산/육아 > 신생아의류 > 레그/스패츠'
5.0	'베베라온 오가닉 밤부 순면 아기 신생아 손싸개 발싸개 B.발싸개_가을/겨울_19_오가닉_스노우 출산/육아 > 신생아의류 > 손/발싸개' '메르베 신생아 무형광 무표백 순면 손싸게 아기 봄 여름 메쉬 매쉬 손싸개 발싸개 세트 24_미니미 (손싸개+발싸개) 출산/육아 > 신생아의류 > 손/발싸개' '[1+1] 메르베 신생아 무형광 순면 손싸게 아기 가을 겨울 손싸개 발싸개 세트 출산준비 16_토끼 손싸개_10_무궁화꽃 손싸개 출산/육아 > 신생아의류 > 손/발싸개'
0.0	'신생아 가제 손수건 오가닉 국산 유기농 면손수건 세트 민트(10장) 출산/육아 > 신생아의류 > 가제손수건' '오가닉 거즈 손수건 (4color 10P) 신생아 유기농 출산준비물 민트 출산/육아 > 신생아의류 > 가제손수건' '베이비앤아이 무형광 순면 손수건 20P 세트 손수건20P_고미+_올리브 출산/육아 > 신생아의류 > 가제손수건'
4.0	'[맘스네이처] 오가닉 5종 신생아 의류 출산선물세트 자가드(여름용)_오가닉5종_베베(자가드) 출산/육아 > 신생아의류 > 세트' '[맘스네이처] 오가닉 4종 선물세트 신생아선물 출산선물 양면(사계절용)_오가닉4종_마이홈75 출산/육아 > 신생아의류 > 세트' '2023년 토끼해 오가닉 신생아 출산6종 선물 세트(사계절,여름 선택) 당근토끼(사계절)_선물박스포장 출산/육아 > 신생아의류 > 세트'
2.0	'피카부 신생아 바디슈트 아기옷 여아 남아 실내복 100일 50일 봄 여름 가을 겨울 코니 슈트세트_오렌지_6m 출산/육아 > 신생아의류 > 바디슈트/롬퍼' '23겨울 미니로브 푸딩후드티 노랑_XL 출산/육아 > 신생아의류 > 바디슈트/롬퍼' '조동 모임 나이키 신생아 기모 바디수트 돌 전 아기 옷 외출복 2개월 3개월 단체 촬영 윈터 기모 J 후드슈트_검정_M(6~12M) 출산/육아 > 신생아의류 > 바디슈트/롬퍼'
6.0	'구루구루 바이크햇 차콜_2호(12~24) 출산/육아 > 신생아의류 > 신생아모자/보닛' '피카부 모자 신생아 돌 백일 아기 크리스마스모자 보넷 토끼 곰돌이 요정 모자 촬영룩 쿨쿨꼭지모자_카멜_FREE 출산/육아 > 신생아의류 > 신생아모자/보닛' '피카부 보넷 유아 신생아 모자 보닛 봄 가을 겨울 봄봄 보넷_핑크_M(3-5세) 출산/육아 > 신생아의류 > 신생아모자/보닛'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_bc11")
# Run inference
preds = model("(23겨울) 베베홀릭 레몬배앓이세트 M_크림 출산/육아 > 신생아의류 > 바디슈트/롬퍼")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	7	15.0589	26

Label	Training Sample Count
0.0	70
1.0	70
2.0	70
3.0	70
4.0	70
5.0	70
6.0	70
7.0	70

Training Hyperparameters

batch_size: (256, 256)
num_epochs: (30, 30)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 50
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0091	1	0.4951	-
0.4545	50	0.5028	-
0.9091	100	0.4958	-
1.3636	150	0.2683	-
1.8182	200	0.0089	-
2.2727	250	0.0	-
2.7273	300	0.0	-
3.1818	350	0.0	-
3.6364	400	0.0	-
4.0909	450	0.0	-
4.5455	500	0.0	-
5.0	550	0.0	-
5.4545	600	0.0	-
5.9091	650	0.0	-
6.3636	700	0.0	-
6.8182	750	0.0	-
7.2727	800	0.0	-
7.7273	850	0.0	-
8.1818	900	0.0	-
8.6364	950	0.0	-
9.0909	1000	0.0	-
9.5455	1050	0.0	-
10.0	1100	0.0	-
10.4545	1150	0.0	-
10.9091	1200	0.0	-
11.3636	1250	0.0	-
11.8182	1300	0.0	-
12.2727	1350	0.0	-
12.7273	1400	0.0	-
13.1818	1450	0.0	-
13.6364	1500	0.0	-
14.0909	1550	0.0	-
14.5455	1600	0.0	-
15.0	1650	0.0	-
15.4545	1700	0.0	-
15.9091	1750	0.0	-
16.3636	1800	0.0	-
16.8182	1850	0.0	-
17.2727	1900	0.0	-
17.7273	1950	0.0	-
18.1818	2000	0.0	-
18.6364	2050	0.0	-
19.0909	2100	0.0	-
19.5455	2150	0.0	-
20.0	2200	0.0	-
20.4545	2250	0.0	-
20.9091	2300	0.0	-
21.3636	2350	0.0	-
21.8182	2400	0.0	-
22.2727	2450	0.0	-
22.7273	2500	0.0	-
23.1818	2550	0.0	-
23.6364	2600	0.0	-
24.0909	2650	0.0	-
24.5455	2700	0.0	-
25.0	2750	0.0	-
25.4545	2800	0.0	-
25.9091	2850	0.0	-
26.3636	2900	0.0	-
26.8182	2950	0.0	-
27.2727	3000	0.0	-
27.7273	3050	0.0	-
28.1818	3100	0.0	-
28.6364	3150	0.0	-
29.0909	3200	0.0	-
29.5455	3250	0.0	-
30.0	3300	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_bc11