SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 7 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
6.0	'퀼트크로스백 퀼트완제품 가구/인테리어>수예>퀼트/펠트>완제품' '현진 글리터토퍼 꽃길만걷자 GFT4-405 152094 가구/인테리어>수예>퀼트/펠트>완제품' '스위티퀼트 퀼트 완제품 봄이 필통 파우치 가구/인테리어>수예>퀼트/펠트>완제품'
4.0	'쇼파 빈티지 요곤 가죽 질감 재킷 배경 가방 부드러운 안감천 레자원단 가구/인테리어>수예>원단' '접착 레자 소파 고무 강력 자동차 인테리 인조 가죽 가구/인테리어>수예>원단' '핸드메이드 가죽 소재 하운드투스 Y자 인조 PVC클러치 프린트 캐리어 DIY 가구/인테리어>수예>원단'
3.0	'실밥뜯개 실뜯게 제거기 부자재 니퍼 실따개 바느질 마대바늘 모루인형눈 스킬바늘 재단가위 가구/인테리어>수예>수예용품/부자재' 'diy 가죽공예 세트 왁스실 가죽바늘 7종 가구/인테리어>수예>수예용품/부자재' '단추 썬그립 500세트 똑딱이단추 고급 국산 티단추 스냅 선그립 79컬러 가구/인테리어>수예>수예용품/부자재'
1.0	'도서 다루마 패턴북 6 가구/인테리어>수예>뜨개질>패키지' '뜨개가방손잡이 우드 자연 큰 단단한 나무 잠금 가구/인테리어>수예>뜨개질>완제품' '타월 담요 소파 손뜨개 여름 블랭킷 커버 코바늘 가구/인테리어>수예>뜨개질>완제품'
0.0	'우돌아트 동물이름표 기린 네임텍 스텐실 도안 1243 가구/인테리어>수예>기타수예' '모루 공예 재료 부드러운 모루 - 초록 가구/인테리어>수예>기타수예' '컬러점토 3개입 아모스 가구/인테리어>수예>기타수예'
5.0	'OOE 덴마크 꽃실 자수실 510 727 가구/인테리어>수예>자수>실/바늘' '데코샌드아트 명화도안 색모래 밤의 별매 중 X 2매입 가구/인테리어>수예>자수>도안' '실십자수 동물 왕 사자 가족 대형 십자수 세트 패키지 DIY만들기 30x40 11CT HMA56704 가구/인테리어>수예>자수>패키지'
2.0	'누니액자 보석십자수 패브릭형 액자 60x90 프리미엄 클래식실버 가구/인테리어>수예>보석십자수' '돈그림 황금돈나무 거실 현관 행운의 풍수 금전운 그-D 40x80 가구/인테리어>수예>보석십자수' '보석십자수 빗 가구/인테리어>수예>보석십자수'

Evaluation

Metrics

Label	Accuracy
all	1.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_fi6")
# Run inference
preds = model("탑키드 만들기 경찰관 놀이 세트 3인용 가구/인테리어>수예>기타수예")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	2	8.8714	24

Label	Training Sample Count
0.0	70
1.0	70
2.0	70
3.0	70
4.0	70
5.0	70
6.0	70

Training Hyperparameters

batch_size: (256, 256)
num_epochs: (30, 30)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 50
body_learning_rate: (2e-05, 1e-05)
head_learning_rate: 0.01
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
l2_weight: 0.01
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0104	1	0.5007	-
0.5208	50	0.4969	-
1.0417	100	0.4332	-
1.5625	150	0.0551	-
2.0833	200	0.0001	-
2.6042	250	0.0	-
3.125	300	0.0	-
3.6458	350	0.0	-
4.1667	400	0.0	-
4.6875	450	0.0	-
5.2083	500	0.0	-
5.7292	550	0.0	-
6.25	600	0.0	-
6.7708	650	0.0	-
7.2917	700	0.0	-
7.8125	750	0.0	-
8.3333	800	0.0	-
8.8542	850	0.0	-
9.375	900	0.0	-
9.8958	950	0.0	-
10.4167	1000	0.0	-
10.9375	1050	0.0	-
11.4583	1100	0.0	-
11.9792	1150	0.0	-
12.5	1200	0.0	-
13.0208	1250	0.0	-
13.5417	1300	0.0	-
14.0625	1350	0.0	-
14.5833	1400	0.0	-
15.1042	1450	0.0	-
15.625	1500	0.0	-
16.1458	1550	0.0	-
16.6667	1600	0.0	-
17.1875	1650	0.0	-
17.7083	1700	0.0	-
18.2292	1750	0.0	-
18.75	1800	0.0	-
19.2708	1850	0.0	-
19.7917	1900	0.0	-
20.3125	1950	0.0	-
20.8333	2000	0.0	-
21.3542	2050	0.0	-
21.875	2100	0.0	-
22.3958	2150	0.0	-
22.9167	2200	0.0	-
23.4375	2250	0.0	-
23.9583	2300	0.0	-
24.4792	2350	0.0	-
25.0	2400	0.0	-
25.5208	2450	0.0	-
26.0417	2500	0.0	-
26.5625	2550	0.0	-
27.0833	2600	0.0	-
27.6042	2650	0.0	-
28.125	2700	0.0	-
28.6458	2750	0.0	-
29.1667	2800	0.0	-
29.6875	2850	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0
Sentence Transformers: 3.3.1
Transformers: 4.44.2
PyTorch: 2.2.0a0+81ea7a4
Datasets: 3.2.0
Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_fi6