SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 6 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
2.0	'밥솥다이 전자렌지선반 광파오븐장 1200 라빈화이트 가구/인테리어>주방가구>레인지대' '가구느낌 전자레인지 수납장 4단 밥솥 다이 렌지 선반 가구/인테리어>주방가구>레인지대' '가구레시피 한정이벤트 조립식 시그니처 진열장형 5단 선반장 렌지대 주방수납장 밥솥다이 가구/인테리어>주방가구>레인지대'
0.0	'장미맨숀 마르틴 원목 그릇장 가구/인테리어>주방가구>그릇장/컵보드' '찻잔 장식장 다기 진열 홈카페 수납장 주방 선반 그 -17 오동나무 12칸 벽걸이형 가구/인테리어>주방가구>그릇장/컵보드' '찬장 원목 그릇장 빈티지 주방 수납장 엔틱 미닫이 진열장 가구/인테리어>주방가구>그릇장/컵보드'
5.0	'아이엔지홈 킨포크 주방수납장 1200 가구/인테리어>주방가구>주방수납장' '리바트키친 트루 주방 수납장 가구/인테리어>주방가구>주방수납장' '화이트 수납 캐비닛 주방 지중해 갤러리 찬장 가구/인테리어>주방가구>주방수납장'
4.0	'이동식 트롤리 바퀴달린 리어카 선반 다이닝카 다층선반 미드센추리 가구/인테리어>주방가구>왜건/카트' '진료 선반 병원 카트 치과 트레이 드레싱 장비 수납 가구/인테리어>주방가구>왜건/카트' '밀스턴 튼튼한 이동식 트롤리 3단 가구/인테리어>주방가구>왜건/카트'
3.0	'화이트 엣지 600 원형 18T 라운딩 테이블 가구/인테리어>주방가구>식탁/의자>식탁테이블' '600x2000 키큰 주방 렌지대 겸 접이식 식탁 밥솥 다이 가구/인테리어>주방가구>식탁/의자>레인지대겸용식탁' '웰퍼니쳐 클로이 고무나무 원목 6인 식탁세트 의자6 가구/인테리어>주방가구>식탁/의자>식탁세트'
1.0	'흡수가 빠른 씽크대선반건조대 규조토드라잉매트 가구/인테리어>주방가구>기타주방가구' '업소용 싱크대 영업용 식당 스텐 주방 씽크대 개수대 가구/인테리어>주방가구>기타주방가구' '주방 식당 스텐 배수 조리대 작업대 테이블 싱크대 업소용 스테인레스 가구/인테리어>주방가구>기타주방가구'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_fi10")
# Run inference
preds = model("미드센추리 투명 아크릴 스테인리스 트롤리 이동식 거실 테이블 가구/인테리어>주방가구>왜건/카트")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.0476	15

Label	Training Sample Count
0.0	70
1.0	70
2.0	70
3.0	70
4.0	70
5.0	70

Training Hyperparameters

batch_size: (256, 256)
num_epochs: (30, 30)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 50
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0120	1	0.494	-
0.6024	50	0.4972	-
1.2048	100	0.4906	-
1.8072	150	0.1734	-
2.4096	200	0.0195	-
3.0120	250	0.0002	-
3.6145	300	0.0	-
4.2169	350	0.0	-
4.8193	400	0.0001	-
5.4217	450	0.0	-
6.0241	500	0.0	-
6.6265	550	0.0	-
7.2289	600	0.0	-
7.8313	650	0.0	-
8.4337	700	0.0	-
9.0361	750	0.0	-
9.6386	800	0.0	-
10.2410	850	0.0	-
10.8434	900	0.0	-
11.4458	950	0.0	-
12.0482	1000	0.0	-
12.6506	1050	0.0	-
13.2530	1100	0.0	-
13.8554	1150	0.0	-
14.4578	1200	0.0	-
15.0602	1250	0.0	-
15.6627	1300	0.0	-
16.2651	1350	0.0	-
16.8675	1400	0.0	-
17.4699	1450	0.0	-
18.0723	1500	0.0	-
18.6747	1550	0.0	-
19.2771	1600	0.0	-
19.8795	1650	0.0	-
20.4819	1700	0.0	-
21.0843	1750	0.0	-
21.6867	1800	0.0	-
22.2892	1850	0.0	-
22.8916	1900	0.0	-
23.4940	1950	0.0	-
24.0964	2000	0.0	-
24.6988	2050	0.0	-
25.3012	2100	0.0	-
25.9036	2150	0.0	-
26.5060	2200	0.0	-
27.1084	2250	0.0	-
27.7108	2300	0.0	-
28.3133	2350	0.0	-
28.9157	2400	0.0	-
29.5181	2450	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_fi10