SetFit with mini1013/master_domain
This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.
The model has been trained using an efficient few-shot learning technique that involves:
- Fine-tuning a Sentence Transformer with contrastive learning.
- Training a classification head with features from the fine-tuned Sentence Transformer.
Model Details
Model Description
Model Sources
Model Labels
Label |
Examples |
1.0 |
- '씨티라이프 캠핑용우비 고급 우의 성인 다회용 eva 우비 성인 고급 EVA 우의_화이트 주식회사 씨티라이프'
- '투피스 비옷 우비 상하 세트 L 빛나는 오늘'
- '케이투 K2 경량 레인코트 KUA22913 네이비_L 롯데백화점2관'
|
4.0 |
- '프리미엄 파콘 단체복 쿨카라 쿨카라 데일리 쿨프리미엄 티셔츠 파콘 쿨 티 선홍_3XL(110) 라산'
- '롱패딩 점퍼 주문제작 인쇄 스탭 스태프 주차관리 시큐리티 주차요원 경비복 매장 STAFF 소량 단체 L(95) 더블제이어패럴'
- '반팔티 남녀공용 면티 라운드 브이넥 쿨티 긴팔티 무지티 단체티 반티 교회티 티 인쇄 2_L 그룹티마켓'
|
15.0 |
- '헤지스 22FW populet네이비 멜란지 면혼방 긴팔카라티셔츠 WHTS2D431N2 110 제이에스쇼핑'
- '베이직하우스 도톰한 순면 헤비웨이트 3팩 LVTS0103 173374 KK_085 위드홀리포'
- '[현대백화점][올젠] 남성 사선 조직원단 미니 와펜 맨투맨 티셔츠 6컬러 (ZOC4TR1305) 블랙/95 (주)현대백화점'
|
9.0 |
- '(CC034) IS-BT03 / 1컬러 아메카지베스트조끼 그레이=FREE 페스트북'
- '오라 [CC034] IS-BT03 / 1컬러 아메카지베스트조끼 그레이_FREE 오라몰'
- '빈티지 조끼 워크웨어 카고 포켓 아메카지 루즈핏 미국식 커플 남녀 BF 미디엄 카키 스팟 촬영 배송_S 도다리'
|
11.0 |
- '스파오 SPAO 배색 집업 가디건_SPCKE11W98 [15]GRAY_L[095] 카랑코롱'
- '남성 베이직 방모 브이넥니트 베스트AH276E-53N_3컬러_택1_KR200L/라코스테(의류) EL6(차콜그레이)_003(95) 롯데쇼핑(주)'
- '[지오다노] 053915 3GG 스티치 V넥 가디건 02올리브_L '
|
3.0 |
- '남자남방 셔츠 청남방 캐주얼 데일리룩 IS-JK24 연청_2XL 스마트앤밸류'
- '(M)빈폴 셔츠 남방 단가라 아메카지 차콜08 이오'
- '[지오다노] 043505 코튼 린넨 셔츠 03라이트블루_XL '
|
8.0 |
- '다이나핏 CHROME 크롬 β TR 슈트_Black 03(S) 제이와이글로벌'
- '지이크 F 다크브라운 MARLANE 마이크로 하운드투스 남성정장 FFJAX2155 308184 다크브라운_100_82 엘로이쇼핑'
- '파렌하이트 (23S/S) 네이비 데님라이크 투톤 솔리드 정장 FGJAA2512 네이비_95_96(38) '
|
7.0 |
- '빈티지 빅사이즈 점프슈트 캐쥬얼 작업복 멜빵바지 프리사이즈_강황 링링몰'
- '멜빵바지 코디 남자 점프슈트 점프수트 데님 스트릿패션 XL_블랙 진아글로벌'
- '코오롱스포츠 남녀공용 안타티카 점프수트 JWJJX21301CHA M 미니미파크'
|
6.0 |
- '[대구백화점] [트레몰로]자켓형 변형 사파리점퍼(TRNKA3M3121) 베이지 95 대구백화점'
- 'CODEGRAPHY 더플 후드 패딩 네이비 L 캐치데이'
- '다이나핏 패딩 점퍼 자켓 크롭 푸퍼 경량 양말 남성 여성 하이드 다운 리버시블 덕다운 패딩자켓 라이트베이지(E1)_95(M) 스타일메이커89'
|
14.0 |
- '국내매장정품 디스커버리 프레시 벤트 우븐 반팔 트레이닝 셋업 데일리 남녀 공용 헬스 반바지 티셔츠 세트 프레시블랙_90_26 와와투유'
- '(탑텐밸런스)(신세계의정부점)탑텐밸런스남성 BALANCE 수퍼 스트레치 조거 팬츠 MBE5PT1206 BK_520(S) 신세계백화점'
- '[SET] 플루크 슬램로고 피그먼트 후드 셋업 FHT750-Z + FTP750-Z / 3color FHT750+FTP750 네이비_M 와이에이치컴퍼니(주)'
|
2.0 |
- '(국내매장판/AS가능) 엄브로 파라슈트 카고 2WAY 팬츠 베이지(UO223CPT61) 085 스탠패럴'
- '탑텐 남성 남자 밸런스 나일론 스트레 MSC4PP1204 BK_525 지구시장11'
- '조거방풍바지 패딩슬랙스 패딩팬츠 남자/여자패딩바지 여자블랙3XL(66) 옐로우몰'
|
13.0 |
- '프로젝트엠 남성) 캐시미어블렌드 싱글코트 EPD4CC1402 BK_110 신세계백화점'
- '굿라이프웍스 GLW 오버핏 울 하프 더플 코트 차콜 L 에이치닉스'
- '마인드브릿지 울혼방더블핸드메이드코트 MVCA7103 DM_095 주식회사 티비에이치글로벌'
|
16.0 |
- '여성 간절기 천연염색 생활한복 상하의 세트 SS-HBA-F1-핑크 SS-HBA-F1-핑크_88 주식회사 샵앤'
- '두루마기 농민복 남녀민복 연극의상 공연한복 유관순한복 한복 블루_S(170-170) 곰곰생활'
- '남자 생활한복 법복 남성 여름 개량 한복 계량 빅사이즈 루즈핏 반팔 블랙_M 코람데오'
|
10.0 |
- '남녀공용 빅싸이즈 테이퍼드 스판 청바지 BQI280/뱅뱅 인디고_40 롯데쇼핑(주)'
- 'TOFFEE 헤이즈 워시드 와이드 데님 팬츠 VINTAGE INDIGO Haze washed wide denim pants T3F-HWWDPT204VI L 더모이'
- '에센셜 세미와이드핏 데님 팬츠 블루 (424121LP1P) 파란색_074 신세계몰'
|
0.0 |
- '타미힐피거 하프 집업 코튼 니트 DARK SABLE_2XL 뉴욕트레이딩'
- '[시흥점][라코스테]베이직 크루넥 풀오버 AH1988-53N 166(네이비)_004 신세계프리미엄아울렛'
- 'AGAINST ALL ODDS 하프 집업 카라넥 케이블 니트 차콜 HALF ZIPUP COLLAR NECK CABLE KNIT CHARCOAL A.하프 집업 카라넥 케이블 니트 차콜_L 스트릿밴드'
|
5.0 |
- '앤드지 와펜 쉘파 하이넥 후리스 집업 3종택1 BDC4TCJ1002 블랙(BK)_95 롯데백화점1관'
- '미즈노 RB 바람막이 자켓 - 32YE250006 다크 그레이_S 롯데쇼핑(주)프리미엄아울렛 광명점'
- '국내발송 OUTSTANDING 아웃스탠딩 11/23 배송 REVERSIBLE LINER JACKET_OLIVE 리버서블 라이너 자켓_올리브 OS23FWJK18OL M 레몬들'
|
12.0 |
- '[2만 인하]험머 남성 H1 타슬란 셋업 2종 블랙/M(95) 신세계라이브쇼핑'
- '펠틱스 남성 썸머 아이스 셋업 4종 95 NS홈쇼핑'
- '[펠틱스] 남성 썸머 아이스 셋업 4종[34239073] 110 신세계몰'
|
Evaluation
Metrics
Uses
Direct Use for Inference
First install the SetFit library:
pip install setfit
Then you can load this model and run inference.
from setfit import SetFitModel
model = SetFitModel.from_pretrained("mini1013/master_cate_ap1")
preds = model("멜빵바지 데님 점프수트 코디 남성 스트릿패션 M_블랙 설현닷컴")
Training Details
Training Set Metrics
Training set |
Min |
Median |
Max |
Word count |
3 |
9.8578 |
23 |
Label |
Training Sample Count |
0.0 |
50 |
1.0 |
50 |
2.0 |
50 |
3.0 |
50 |
4.0 |
50 |
5.0 |
50 |
6.0 |
50 |
7.0 |
50 |
8.0 |
50 |
9.0 |
50 |
10.0 |
50 |
11.0 |
50 |
12.0 |
9 |
13.0 |
50 |
14.0 |
50 |
15.0 |
50 |
16.0 |
50 |
Training Hyperparameters
- batch_size: (512, 512)
- num_epochs: (20, 20)
- max_steps: -1
- sampling_strategy: oversampling
- num_iterations: 40
- body_learning_rate: (2e-05, 2e-05)
- head_learning_rate: 2e-05
- loss: CosineSimilarityLoss
- distance_metric: cosine_distance
- margin: 0.25
- end_to_end: False
- use_amp: False
- warmup_proportion: 0.1
- seed: 42
- eval_max_steps: -1
- load_best_model_at_end: False
Training Results
Epoch |
Step |
Training Loss |
Validation Loss |
0.0079 |
1 |
0.448 |
- |
0.3937 |
50 |
0.3099 |
- |
0.7874 |
100 |
0.1872 |
- |
1.1811 |
150 |
0.1141 |
- |
1.5748 |
200 |
0.0429 |
- |
1.9685 |
250 |
0.0283 |
- |
2.3622 |
300 |
0.0134 |
- |
2.7559 |
350 |
0.0137 |
- |
3.1496 |
400 |
0.0079 |
- |
3.5433 |
450 |
0.0087 |
- |
3.9370 |
500 |
0.0037 |
- |
4.3307 |
550 |
0.0006 |
- |
4.7244 |
600 |
0.0006 |
- |
5.1181 |
650 |
0.0003 |
- |
5.5118 |
700 |
0.0004 |
- |
5.9055 |
750 |
0.0003 |
- |
6.2992 |
800 |
0.0003 |
- |
6.6929 |
850 |
0.0002 |
- |
7.0866 |
900 |
0.0002 |
- |
7.4803 |
950 |
0.0002 |
- |
7.8740 |
1000 |
0.0002 |
- |
8.2677 |
1050 |
0.0002 |
- |
8.6614 |
1100 |
0.0002 |
- |
9.0551 |
1150 |
0.0003 |
- |
9.4488 |
1200 |
0.0002 |
- |
9.8425 |
1250 |
0.0002 |
- |
10.2362 |
1300 |
0.0002 |
- |
10.6299 |
1350 |
0.0001 |
- |
11.0236 |
1400 |
0.0001 |
- |
11.4173 |
1450 |
0.0001 |
- |
11.8110 |
1500 |
0.0001 |
- |
12.2047 |
1550 |
0.0002 |
- |
12.5984 |
1600 |
0.0001 |
- |
12.9921 |
1650 |
0.0001 |
- |
13.3858 |
1700 |
0.0001 |
- |
13.7795 |
1750 |
0.0001 |
- |
14.1732 |
1800 |
0.0001 |
- |
14.5669 |
1850 |
0.0001 |
- |
14.9606 |
1900 |
0.0001 |
- |
15.3543 |
1950 |
0.0001 |
- |
15.7480 |
2000 |
0.0001 |
- |
16.1417 |
2050 |
0.0001 |
- |
16.5354 |
2100 |
0.0001 |
- |
16.9291 |
2150 |
0.0001 |
- |
17.3228 |
2200 |
0.0001 |
- |
17.7165 |
2250 |
0.0001 |
- |
18.1102 |
2300 |
0.0001 |
- |
18.5039 |
2350 |
0.0001 |
- |
18.8976 |
2400 |
0.0001 |
- |
19.2913 |
2450 |
0.0001 |
- |
19.6850 |
2500 |
0.0001 |
- |
Framework Versions
- Python: 3.10.12
- SetFit: 1.1.0.dev0
- Sentence Transformers: 3.1.1
- Transformers: 4.46.1
- PyTorch: 2.4.0+cu121
- Datasets: 2.20.0
- Tokenizers: 0.20.0
Citation
BibTeX
@article{https://doi.org/10.48550/arxiv.2209.11055,
doi = {10.48550/ARXIV.2209.11055},
url = {https://arxiv.org/abs/2209.11055},
author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {Efficient Few-Shot Learning Without Prompts},
publisher = {arXiv},
year = {2022},
copyright = {Creative Commons Attribution 4.0 International}
}