binh230 commited on
Commit
26399b9
·
verified ·
1 Parent(s): 7ab563d
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 1024,
3
+ "pooling_mode_cls_token": true,
4
+ "pooling_mode_mean_tokens": false,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
README.md ADDED
@@ -0,0 +1,711 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ tags:
3
+ - sentence-transformers
4
+ - sentence-similarity
5
+ - feature-extraction
6
+ - generated_from_trainer
7
+ - dataset_size:68042
8
+ - loss:MultipleNegativesRankingLoss
9
+ widget:
10
+ - source_sentence: Theo quy định pháp luật, khi một bên trong thỏa thuận tín dụng
11
+ không thực hiện đúng nội dung đã thỏa thuận, hai bên có quyền thỏa thuận về việc
12
+ xử lý như thế nào?
13
+ sentences:
14
+ - 'Điều 206. Tai nạn đâm va
15
+
16
+ Tai nạn đâm va là tai nạn xảy ra do đâm va giữa tàu biển với tàu biển, tàu biển
17
+ với phương tiện thuỷ nội địa, tàu biển với thuỷ phi cơ hoặc giữa các phương tiện
18
+ khác trên biển, trong vùng nước cảng biển.'
19
+ - 'Điều 25. Phạt vi phạm và bồi thường thiệt hại
20
+
21
+ 1. Tổ chức tín dụng và khách hàng được thỏa thuận về việc phạt vi phạm, bồi thường
22
+ thiệt hại theo quy định của pháp luật đối với trường hợp tổ chức tín dụng hoặc
23
+ khách hàng không thực hiện đúng nội dung trong thỏa thuận cho vay, trừ trường
24
+ hợp quy định tại khoản 4 Điều 13 Thông tư này.
25
+
26
+ 2. Tổ chức tín dụng và khách hàng có thể thỏa thuận về việc bên vi phạm nghĩa
27
+ vụ chỉ phải chịu phạt vi phạm mà không phải bồi thường thiệt hại hoặc vừa phải
28
+ chịu phạt vi phạm và vừa phải bồi thường thiệt hại. Trường hợp tổ chức tín dụng
29
+ và khách hàng có thỏa thuận về phạt vi phạm nhưng không thỏa thuận về việc vừa
30
+ phải chịu phạt vi phạm và vừa phải bồi thường thiệt hại thì bên vi phạm nghĩa
31
+ vụ chỉ phải chịu phạt vi phạm.'
32
+ - 'Điều 16. Hồ sơ vụ tai nạn lao động
33
+
34
+ 1. Người sử dụng lao động có trách nhiệm lập Hồ sơ vụ tai nạn lao động. Hồ sơ
35
+ bao gồm bản chính hoặc bản sao các tài liệu sau đây:
36
+
37
+ a) Biên bản khám nghiệm hiện trường (nếu có);
38
+
39
+ b) Sơ đồ hiện trường;
40
+
41
+ c) Ảnh hiện trường, ảnh nạn nhân;
42
+
43
+ d) Biên bản khám nghiệm tử thi hoặc khám nghiệm thương tích, trừ trường hợp mất
44
+ tích theo tuyên bố của Tòa án;
45
+
46
+ đ) Biên bản giám định kỹ thuật, giám định pháp y, kết luận giám định tư pháp (nếu
47
+ có);
48
+
49
+ e) Biên bản lấy lời khai của nạn nhân, người biết sự việc hoặc người có liên quan
50
+ đến vụ tai nạn lao động;
51
+
52
+ g) Biên bản Điều tra tai nạn lao động;
53
+
54
+ h) Biên bản cuộc họp công bố biên bản Điều tra tai nạn lao động;
55
+
56
+ i) Giấy chứng thương của cơ sở y tế được Điều trị (nếu có);
57
+
58
+ k) Giấy ra viện của cơ sở y tế được Điều trị (nếu có).
59
+
60
+ 2. Trong một vụ tai nạn lao động, nếu có nhiều người bị tai nạn lao động thì mỗi
61
+ người bị tai nạn lao động được lập một bộ hồ sơ riêng.
62
+
63
+ 3. Lưu trữ hồ sơ tai nạn lao động
64
+
65
+ a) Người sử dụng lao động lưu trữ hồ sơ tai nạn lao động theo quy định tại Khoản
66
+ 8 Điều 18 Nghị định này.
67
+
68
+ b) Cơ quan thành lập Đoàn Điều tra tai nạn lao động cấp tỉnh, cấp trung ương lưu
69
+ trữ hồ sơ vụ tai nạn lao động theo quy định của pháp luật về lưu trữ.'
70
+ - source_sentence: Các yếu tố nào cần xem xét khi chia tiền công cứu hộ giữa chủ tàu
71
+ và người thuê tàu?
72
+ sentences:
73
+ - 'Điều 148. Chia tiền công cứu hộ trong thuê tàu định hạn
74
+
75
+ Trường hợp tàu cho thuê định hạn tham gia cứu hộ trong thời gian cho thuê thì
76
+ tiền công cứu hộ được chia đều giữa chủ tàu và người thuê tàu sau khi đã trừ các
77
+ chi phí liên quan đến hoạt động cứu hộ và tiền thưởng công cứu hộ cho thuyền bộ.'
78
+ - 'Điều 58. Trách nhiệm của chủ tàu đối với thuyền bộ
79
+
80
+ 1. Bố trí đủ thuyền viên theo định biên của tàu biển và bảo đảm thuyền viên phải
81
+ có đủ điều kiện làm việc trên tàu biển theo quy định tại khoản 2 Điều 46 của Bộ
82
+ luật này.
83
+
84
+ 2. Quy định chức danh, trách nhiệm theo chức danh của thuyền viên, trừ các chức
85
+ danh do Bộ trưởng Bộ Giao thông vận tải quy định.
86
+
87
+ 3. Bảo đảm điều kiện làm việc, sinh hoạt của thuyền viên trên tàu biển theo quy
88
+ định của pháp luật.
89
+
90
+ 4. Mua bảo hiểm tai nạn và bảo hiểm bắt buộc khác cho thuyền viên làm việc trên
91
+ tàu biển theo quy định của pháp luật.'
92
+ - 'Điều 74. Thời điểm phát sinh và chấm dứt trách nhiệm của người vận chuyển
93
+
94
+ 1. Trách nhiệm của người vận chuyển phát sinh từ khi người vận chuyển nhận hàng
95
+ tại cảng nhận hàng, được duy trì trong suốt quá trình vận chuyển và chấm dứt khi
96
+ kết thúc việc trả hàng tại cảng trả hàng.
97
+
98
+ 2. Việc nhận hàng được tính từ thời điểm người vận chuyển đã nhận hàng hoá từ
99
+ người giao hàng, cơ quan nhà nước có thẩm quyền hoặc bên thứ ba theo quy định
100
+ của pháp luật hoặc theo quy định tại cảng nhận hàng.
101
+
102
+ 3. Việc trả hàng kết thúc trong các trường hợp sau đây:
103
+
104
+ a) Người vận chuyển hoàn thành việc trả hàng cho người nhận hàng; trong trường
105
+ hợp người nhận hàng không trực tiếp nhận hàng từ người vận chuyển thì bằng cách
106
+ trả hàng theo yêu cầu của người nhận hàng phù hợp với hợp đồng, pháp luật hoặc
107
+ tập quán thương mại áp dụng tại cảng trả hàng;
108
+
109
+ b) Người vận chuyển hoàn thành việc trả hàng cho cơ quan nhà nước có thẩm quyền
110
+ hoặc cho bên thứ ba theo quy định của pháp luật hoặc quy định tại cảng trả hàng.
111
+
112
+ 4. Các bên tham gia hợp đồng vận chuyển chỉ có quyền thoả thuận về việc giảm trách
113
+ nhiệm của người vận chuyển trong các trường hợp sau đây:
114
+
115
+ a) Khoảng thời gian từ khi nhận hàng đến trước khi bốc hàng lên tàu biển và khoảng
116
+ thời gian từ khi kết thúc dỡ hàng đến khi trả xong hàng;
117
+
118
+ b) Vận chuyển động vật sống;
119
+
120
+ c) Vận chuyển hàng hoá trên boong.'
121
+ - source_sentence: Ủy ban nhân dân cấp xã có trách nhiệm gì đối với việc vận hành
122
+ và bảo trì đài truyền thanh sử dụng công nghệ hiện đại?
123
+ sentences:
124
+ - 'Điều 16. Trách nhiệm Ủy ban nhân dân cấp xã
125
+
126
+ 1. Xây dựng, quản lý trực tiếp, khai thác, vận hành hoạt động của đài truyền thanh
127
+ cấp xã ứng dụng công nghệ thông tin - viễn thông theo quy định tại Thông tư này
128
+ và theo hướng dẫn của cơ quan quản lý nhà nước cấp trên.
129
+
130
+ 2. Đảm bảo các điều kiện về cơ sở vật chất, trang thiết bị kỹ thuật của đài truyền
131
+ thanh cấp xã ứng dụng công nghệ thông tin - viễn thông đáp ứng các quy định tại
132
+ Thông tư này.
133
+
134
+ 3. Thực hiện chế độ báo cáo định kỳ hoặc đột xuất về hoạt động của đài truyền
135
+ thanh cấp xã ứng dụng công nghệ thông tin - viễn thông theo yêu cầu của cơ quan
136
+ quản lý nhà nước cấp trên.'
137
+ - 'Điều 8. Những nhu cầu vốn không được cho vay
138
+
139
+ Tổ chức tín dụng không được cho vay đối với các nhu cầu vốn:
140
+
141
+ 1. Để thực hiện các hoạt động đầu tư kinh doanh thuộc ngành, nghề mà pháp luật
142
+ cấm đầu tư kinh doanh.
143
+
144
+ 2. Để thanh toán các chi phí, đáp ứng các nhu cầu tài chính của các giao dịch,
145
+ hành vi mà pháp luật cấm.
146
+
147
+ 3. Để mua, sử dụng các hàng hóa, dịch vụ thuộc ngành, nghề mà pháp luật cấm đầu
148
+ tư kinh doanh.
149
+
150
+ 4. Để mua vàng miếng.
151
+
152
+ 5. Để trả nợ khoản nợ vay tại chính tổ chức tín dụng cho vay trừ trường hợp cho
153
+ vay để thanh toán lãi tiền vay phát sinh trong quá trình thi công xây dựng công
154
+ trình, mà chi phí lãi tiền vay được tính trong dự toán xây dựng công trình được
155
+ cấp có thẩm quyền phê duyệt theo quy định của pháp luật.
156
+
157
+ 6. Để trả nợ khoản nợ vay tại tổ chức tín dụng khác và trả nợ khoản vay nước ngoài,
158
+ trừ trường hợp cho vay để trả nợ trước hạn khoản vay đáp ứng đầy đủ các điều kiện
159
+ sau đây:
160
+
161
+ a) Là khoản vay phục vụ hoạt động kinh doanh;
162
+
163
+ b) Thời hạn cho vay không vượt quá thời hạn cho vay còn lại của khoản vay cũ;
164
+
165
+ c) Là khoản vay chưa thực hiện cơ cấu lại thời hạn trả nợ.'
166
+ - 'Điều 17. Hỗ trợ thẩm định, cấp phép kinh doanh lần đầu
167
+
168
+ 1. Doanh nghiệp nhỏ và vừa chuyển đổi từ hộ kinh doanh được miễn phí thẩm định,
169
+ lệ phí cấp phép kinh doanh lần đầu đối với ngành nghề kinh doanh có điều kiện.
170
+
171
+ 2. Doanh nghiệp nhỏ và vừa chuyển đổi từ hộ kinh doanh tiếp tục hoạt động sản
172
+ xuất kinh doanh ngành, nghề kinh doanh có điều kiện mà không thay đổi về quy mô
173
+ thì cần có đơn gửi cơ quan quản lý nhà nước có thẩm quyền để được cấp lại giấy
174
+ phép. Cơ quan quản lý nhà nước có thẩm quyền có trách nhiệm cấp lại giấy phép
175
+ trong thời hạn 03 ngày làm việc kể từ khi nhận được đơn.
176
+
177
+ Trường hợp doanh nghiệp nhỏ và vừa chuyển đổi từ hộ kinh doanh vẫn sản xuất kinh
178
+ doanh ngành nghề kinh doanh, có điều kiện mà thay đổi về quy mô thì cơ quan quản
179
+ lý nhà nước có thẩm quyền có trách nhiệm tư vấn, hướng dẫn miễn phí về quy trình,
180
+ thủ tục việc cấp phép lần đầu.'
181
+ - source_sentence: Khoảng cách tối thiểu giữa các điểm đo trên sông ở khu vực miền
182
+ Bắc và miền Nam Việt Nam là bao nhiêu?
183
+ sentences:
184
+ - 'Điều 3. Nguyên tắc, mục tiêu hoạt động của Quỹ
185
+
186
+ 1. Nguyên tắc hoạt động
187
+
188
+ a) Quỹ hoạt động theo nguyên tắc tự chủ về tài chính, bảo đảm an toàn vốn;
189
+
190
+ b) Quỹ chịu trách nhiệm hữu hạn trong phạm vi vốn chủ sở hữu của mình;
191
+
192
+ c) Quỹ hỗ trợ đúng đối tượng và đủ điều kiện theo quy định tại Nghị định này.
193
+
194
+ 2. Mục tiêu hoạt động
195
+
196
+ a) Nâng cao khả năng cạnh tranh của doanh nghiệp nhỏ và vừa, góp phần làm tăng
197
+ thu nhập, tạo việc làm cho người lao động;
198
+
199
+ b) Tạo nguồn vốn hỗ trợ, phát triển doanh nghiệp nhỏ và vừa;
200
+
201
+ c) Nâng cao hiệu quả quản lý vốn nhà nước hỗ trợ doanh nghiệp nhỏ và vừa.'
202
+ - 'Điều 12. An toàn thông tin trong kết nối chia sẻ dữ liệu
203
+
204
+ Hệ thống thông tin nguồn trung ương và hệ thống thông tin nguồn cấp tỉnh khi kết
205
+ nối, chia sẻ dữ liệu với nhau hoặc kết nối, chia sẻ dữ liệu với các thành phần
206
+ khác phải có biện pháp đảm bảo an toàn dữ liệu đáp ứng các yêu cầu an toàn thông
207
+ tin quy định tại Thông tư số 03/2017/TT-BTTTT ngày 24/4/2017 của Bộ trưởng Bộ
208
+ Thông tin và Truyền thông quy định chi tiết và hướng dẫn một số điều của Nghị
209
+ định số 85/2016/NĐ-CP ngày 01/7/2016 của Chính phủ về bảo đảm an toàn hệ thống
210
+ thông tin theo cấp độ và Tiêu chuẩn quốc gia TCVN 11930:2017 về công nghệ thông
211
+ tin - các kỹ thuật an toàn - yêu cầu cơ bản về an toàn hệ thống thông tin theo
212
+ cấp độ.'
213
+ - 'Điều 13. Nguyên tắc xác định điểm đo trong điều tra khảo sát
214
+
215
+ 1. Trên đoạn sông điều tra khảo sát, bố trí tối thiểu 3 điểm đo phân bố từ cửa
216
+ sông lên thượng lưu, đảm bảo khoảng cách giữa các điểm đo như sau:
217
+
218
+ a) Đối với sông ở khu vực miền Bắc, khoảng cách giữa các điểm đo từ 5 ÷ 7 km;
219
+
220
+ b) Đối với sông ở khu vực miền Trung, khoảng cách giữa các điểm đo từ 3  ÷ 5km;
221
+
222
+ c) Đối với sông ở khu vực miền Nam, khoảng cách giữa các điểm đo từ 10 ÷ 15km.
223
+
224
+ 2. Các điểm đo được bố trí bảo đảm xác định được giá trị ranh giới xâm nhập mặn
225
+ (giá trị ranh giới xâm nhập mặn tùy theo yêu cầu điều tra khảo sát thường được
226
+ xác định là 1‰ hoặc 4‰).
227
+
228
+ 3. Các điểm đo trên đoạn sông điều tra khảo sát đảm bảo các yêu cầu sau:
229
+
230
+ a) Dòng chảy bị ảnh hưởng triều rõ rệt;
231
+
232
+ b) Không có hiện tượng nước tù, chảy quẩn;
233
+
234
+ c) Không có dòng nhập lưu;
235
+
236
+ d) Ít bị ảnh hưởng bởi tác động của con người.'
237
+ - source_sentence: Người thực hiện việc uỷ thác toàn bộ hoặc một phần việc vận chuyển
238
+ hàng hoá bằng đường biển được gọi là ai?
239
+ sentences:
240
+ - 'Điều 72. Các bên liên quan đến hợp đồng vận chuyển hàng hoá bằng đường biển
241
+
242
+ 1. Người thuê vận chuyển là người tự mình hoặc uỷ quyền cho người khác giao kết
243
+ hợp đồng vận chuyển hàng hoá bằng đường biển với người vận chuyển. Trong trường
244
+ hợp hợp đồng vận chuyển theo chứng từ vận chuyển, người thuê vận chuyển được gọi
245
+ là người gửi hàng.
246
+
247
+ 2. Người vận chuyển là người tự mình hoặc uỷ quyền cho người khác giao kết hợp
248
+ đồng vận chuyển hàng hoá bằng đường biển với người thuê vận chuyển.
249
+
250
+ 3. Người vận chuyển thực tế là người được người vận chuyển uỷ thác thực hiện toàn
251
+ bộ hoặc một phần việc vận chuyển hàng hoá bằng đường biển.
252
+
253
+ 4. Người giao hàng là người tự mình hoặc được người khác uỷ thác giao hàng cho
254
+ người vận chuyển theo hợp đồng vận chuyển hàng hoá bằng đường biển.
255
+
256
+ 5. Người nhận hàng là người có quyền nhận hàng theo quy định tại Điều 89 và Điều
257
+ 110 của Bộ luật này.'
258
+ - 'Điều 49. Địa vị pháp lý của thuyền trưởng
259
+
260
+ 1. Thuyền trưởng là người có quyền chỉ huy cao nhất ở trên tàu biển, chỉ huy tàu
261
+ theo chế độ thủ trưởng. Mọi người có mặt trên tàu biển phải chấp hành mệnh lệnh
262
+ của thuyền trưởng.
263
+
264
+ 2. Thuyền trưởng chịu sự chỉ đạo của chủ tàu hoặc người thuê tàu, người khai thác
265
+ tàu.'
266
+ - 'Điều 6. Tiêu chuẩn 2: Bản mô tả, cấu trúc, nội dung chương trình đào tạo
267
+
268
+ 1. Bản mô tả chương trình đào tạo đầy đủ thông tin, cập nhật, xác định rõ hình
269
+ thức đào tạo từ xa, được công bố công khai và dễ dàng tiếp cận.
270
+
271
+ 2. Đề cương chi tiết các môn học hoặc học phần đầy đủ thông tin, cập nhật, được
272
+ công bố công khai và các bên liên quan dễ dàng tiếp cận.
273
+
274
+ 3. Nội dung chương trình đào tạo được thiết kế dựa trên chuẩn đầu ra và chương
275
+ trình đào tạo chính quy, cập nhật, có cấu trúc linh loạt, trình tự logic và gắn
276
+ kết giữa các môn học hoặc học phần trong việc đạt được chuẩn đầu ra.'
277
+ pipeline_tag: sentence-similarity
278
+ library_name: sentence-transformers
279
+ metrics:
280
+ - cosine_accuracy@1
281
+ - cosine_accuracy@3
282
+ - cosine_accuracy@5
283
+ - cosine_accuracy@10
284
+ - cosine_precision@1
285
+ - cosine_precision@3
286
+ - cosine_precision@5
287
+ - cosine_precision@10
288
+ - cosine_recall@1
289
+ - cosine_recall@3
290
+ - cosine_recall@5
291
+ - cosine_recall@10
292
+ - cosine_ndcg@10
293
+ - cosine_mrr@10
294
+ - cosine_map@100
295
+ model-index:
296
+ - name: SentenceTransformer
297
+ results:
298
+ - task:
299
+ type: information-retrieval
300
+ name: Information Retrieval
301
+ dataset:
302
+ name: Unknown
303
+ type: unknown
304
+ metrics:
305
+ - type: cosine_accuracy@1
306
+ value: 0.2468227424749164
307
+ name: Cosine Accuracy@1
308
+ - type: cosine_accuracy@3
309
+ value: 0.7418060200668897
310
+ name: Cosine Accuracy@3
311
+ - type: cosine_accuracy@5
312
+ value: 0.8260869565217391
313
+ name: Cosine Accuracy@5
314
+ - type: cosine_accuracy@10
315
+ value: 0.919732441471572
316
+ name: Cosine Accuracy@10
317
+ - type: cosine_precision@1
318
+ value: 0.2468227424749164
319
+ name: Cosine Precision@1
320
+ - type: cosine_precision@3
321
+ value: 0.24726867335562985
322
+ name: Cosine Precision@3
323
+ - type: cosine_precision@5
324
+ value: 0.1652173913043478
325
+ name: Cosine Precision@5
326
+ - type: cosine_precision@10
327
+ value: 0.09197324414715718
328
+ name: Cosine Precision@10
329
+ - type: cosine_recall@1
330
+ value: 0.2468227424749164
331
+ name: Cosine Recall@1
332
+ - type: cosine_recall@3
333
+ value: 0.7418060200668897
334
+ name: Cosine Recall@3
335
+ - type: cosine_recall@5
336
+ value: 0.8260869565217391
337
+ name: Cosine Recall@5
338
+ - type: cosine_recall@10
339
+ value: 0.919732441471572
340
+ name: Cosine Recall@10
341
+ - type: cosine_ndcg@10
342
+ value: 0.5916811345338074
343
+ name: Cosine Ndcg@10
344
+ - type: cosine_mrr@10
345
+ value: 0.4847204968944114
346
+ name: Cosine Mrr@10
347
+ - type: cosine_map@100
348
+ value: 0.48932363827559977
349
+ name: Cosine Map@100
350
+ ---
351
+
352
+ # SentenceTransformer
353
+
354
+ This is a [sentence-transformers](https://www.SBERT.net) model trained. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
355
+
356
+ ## Model Details
357
+
358
+ ### Model Description
359
+ - **Model Type:** Sentence Transformer
360
+ <!-- - **Base model:** [Unknown](https://huggingface.co/unknown) -->
361
+ - **Maximum Sequence Length:** 8192 tokens
362
+ - **Output Dimensionality:** 1024 dimensions
363
+ - **Similarity Function:** Cosine Similarity
364
+ <!-- - **Training Dataset:** Unknown -->
365
+ <!-- - **Language:** Unknown -->
366
+ <!-- - **License:** Unknown -->
367
+
368
+ ### Model Sources
369
+
370
+ - **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
371
+ - **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
372
+ - **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
373
+
374
+ ### Full Model Architecture
375
+
376
+ ```
377
+ SentenceTransformer(
378
+ (0): Transformer({'max_seq_length': 8192, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
379
+ (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
380
+ (2): Normalize()
381
+ )
382
+ ```
383
+
384
+ ## Usage
385
+
386
+ ### Direct Usage (Sentence Transformers)
387
+
388
+ First install the Sentence Transformers library:
389
+
390
+ ```bash
391
+ pip install -U sentence-transformers
392
+ ```
393
+
394
+ Then you can load this model and run inference.
395
+ ```python
396
+ from sentence_transformers import SentenceTransformer
397
+
398
+ # Download from the 🤗 Hub
399
+ model = SentenceTransformer("binh230/bge-m3-finetuned-2")
400
+ # Run inference
401
+ sentences = [
402
+ 'Người thực hiện việc uỷ thác toàn bộ hoặc một phần việc vận chuyển hàng hoá bằng đường biển được gọi là ai?',
403
+ 'Điều 72. Các bên liên quan đến hợp đồng vận chuyển hàng hoá bằng đường biển\n1. Người thuê vận chuyển là người tự mình hoặc uỷ quyền cho người khác giao kết hợp đồng vận chuyển hàng hoá bằng đường biển với người vận chuyển. Trong trường hợp hợp đồng vận chuyển theo chứng từ vận chuyển, người thuê vận chuyển được gọi là người gửi hàng.\n2. Người vận chuyển là người tự mình hoặc uỷ quyền cho người khác giao kết hợp đồng vận chuyển hàng hoá bằng đường biển với người thuê vận chuyển.\n3. Người vận chuyển thực tế là người được người vận chuyển uỷ thác thực hiện toàn bộ hoặc một phần việc vận chuyển hàng hoá bằng đường biển.\n4. Người giao hàng là người tự mình hoặc được người khác uỷ thác giao hàng cho người vận chuyển theo hợp đồng vận chuyển hàng hoá bằng đường biển.\n5. Người nhận hàng là người có quyền nhận hàng theo quy định tại Điều 89 và Điều 110 của Bộ luật này.',
404
+ 'Điều 49. Địa vị pháp lý của thuyền trưởng\n1. Thuyền trưởng là người có quyền chỉ huy cao nhất ở trên tàu biển, chỉ huy tàu theo chế độ thủ trưởng. Mọi người có mặt trên tàu biển phải chấp hành mệnh lệnh của thuyền trưởng.\n2. Thuyền trưởng chịu sự chỉ đạo của chủ tàu hoặc người thuê tàu, người khai thác tàu.',
405
+ ]
406
+ embeddings = model.encode(sentences)
407
+ print(embeddings.shape)
408
+ # [3, 1024]
409
+
410
+ # Get the similarity scores for the embeddings
411
+ similarities = model.similarity(embeddings, embeddings)
412
+ print(similarities.shape)
413
+ # [3, 3]
414
+ ```
415
+
416
+ <!--
417
+ ### Direct Usage (Transformers)
418
+
419
+ <details><summary>Click to see the direct usage in Transformers</summary>
420
+
421
+ </details>
422
+ -->
423
+
424
+ <!--
425
+ ### Downstream Usage (Sentence Transformers)
426
+
427
+ You can finetune this model on your own dataset.
428
+
429
+ <details><summary>Click to expand</summary>
430
+
431
+ </details>
432
+ -->
433
+
434
+ <!--
435
+ ### Out-of-Scope Use
436
+
437
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
438
+ -->
439
+
440
+ ## Evaluation
441
+
442
+ ### Metrics
443
+
444
+ #### Information Retrieval
445
+
446
+ * Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
447
+
448
+ | Metric | Value |
449
+ |:--------------------|:-----------|
450
+ | cosine_accuracy@1 | 0.2468 |
451
+ | cosine_accuracy@3 | 0.7418 |
452
+ | cosine_accuracy@5 | 0.8261 |
453
+ | cosine_accuracy@10 | 0.9197 |
454
+ | cosine_precision@1 | 0.2468 |
455
+ | cosine_precision@3 | 0.2473 |
456
+ | cosine_precision@5 | 0.1652 |
457
+ | cosine_precision@10 | 0.092 |
458
+ | cosine_recall@1 | 0.2468 |
459
+ | cosine_recall@3 | 0.7418 |
460
+ | cosine_recall@5 | 0.8261 |
461
+ | cosine_recall@10 | 0.9197 |
462
+ | **cosine_ndcg@10** | **0.5917** |
463
+ | cosine_mrr@10 | 0.4847 |
464
+ | cosine_map@100 | 0.4893 |
465
+
466
+ <!--
467
+ ## Bias, Risks and Limitations
468
+
469
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
470
+ -->
471
+
472
+ <!--
473
+ ### Recommendations
474
+
475
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
476
+ -->
477
+
478
+ ## Training Details
479
+
480
+ ### Training Dataset
481
+
482
+ #### Unnamed Dataset
483
+
484
+
485
+ * Size: 68,042 training samples
486
+ * Columns: <code>sentence_0</code> and <code>sentence_1</code>
487
+ * Approximate statistics based on the first 1000 samples:
488
+ | | sentence_0 | sentence_1 |
489
+ |:--------|:------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
490
+ | type | string | string |
491
+ | details | <ul><li>min: 10 tokens</li><li>mean: 26.53 tokens</li><li>max: 142 tokens</li></ul> | <ul><li>min: 23 tokens</li><li>mean: 225.01 tokens</li><li>max: 634 tokens</li></ul> |
492
+ * Samples:
493
+ | sentence_0 | sentence_1 |
494
+ |:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
495
+ | <code>Tổ chức phát hành có trách nhiệm gì khi quản lý tài khoản vốn phát hành chứng khoán bằng ngoại tệ?</code> | <code>Điều 8. Trách nhiệm của tổ chức phát hành<br>1. Thực hiện việc mở, đóng và sử dụng tài khoản vốn phát hành chứng khoán bằng ngoại tệ theo đúng quy định tại Thông tư này và các văn bản pháp luật có liên quan.<br>2. Kê khai trung thực, đầy đủ nội dung thu, chi trên tài khoản vốn phát hành chứng khoán bằng ngoại tệ; Cung cấp các chứng từ, tài liệu liên quan đến việc mở và sử dụng tài khoản vốn phát hành chứng khoán bằng ngoại tệ theo yêu cầu và hướng dẫn của tổ chức tín dụng được phép.</code> |
496
+ | <code>Đơn vị nào có quyền yêu cầu cung cấp chứng từ liên quan đến việc sử dụng tài khoản vốn phát hành chứng khoán bằng ngoại tệ và tổ chức phát hành phải tuân thủ như thế nào?</code> | <code>Điều 8. Trách nhiệm của tổ chức phát hành<br>1. Thực hiện việc mở, đóng và sử dụng tài khoản vốn phát hành chứng khoán bằng ngoại tệ theo đúng quy định tại Thông tư này và các văn bản pháp luật có liên quan.<br>2. Kê khai trung thực, đầy đủ nội dung thu, chi trên tài khoản vốn phát hành chứng khoán bằng ngoại tệ; Cung cấp các chứng từ, tài liệu liên quan đến việc mở và sử dụng tài khoản vốn phát hành chứng khoán bằng ngoại tệ theo yêu cầu và hướng dẫn của tổ chức tín dụng được phép.</code> |
497
+ | <code>Tổ chức tín dụng có trách nhiệm gì khi liên quan đến tài khoản vốn phát hành chứng khoán bằng ngoại tệ?</code> | <code>Điều 9. Trách nhiệm của tổ chức tín dụng được phép<br>1. Thực hiện việc mở, đóng và sử dụng tài khoản vốn phát hành chứng khoán bằng ngoại tệ phù hợp với quy định tại Thông tư này và các văn bản pháp luật có liên quan.<br>2. Kiểm tra, lưu giữ các tài liệu, chứng từ liên quan đến các giao dịch thu, chi được thực hiện trên tài khoản vốn phát hành chứng khoán bằng ngoại tệ của tổ chức phát hành để đảm bảo việc cung ứng dịch vụ ngoại hối được thực hiện đúng mục đích và phù hợp với quy định của pháp luật.<br>3. Thực hiện chế độ báo cáo theo quy định tại Điều 10 Thông tư này.</code> |
498
+ * Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
499
+ ```json
500
+ {
501
+ "scale": 20.0,
502
+ "similarity_fct": "cos_sim"
503
+ }
504
+ ```
505
+
506
+ ### Training Hyperparameters
507
+ #### Non-Default Hyperparameters
508
+
509
+ - `eval_strategy`: steps
510
+ - `per_device_train_batch_size`: 10
511
+ - `per_device_eval_batch_size`: 10
512
+ - `num_train_epochs`: 1
513
+ - `multi_dataset_batch_sampler`: round_robin
514
+
515
+ #### All Hyperparameters
516
+ <details><summary>Click to expand</summary>
517
+
518
+ - `overwrite_output_dir`: False
519
+ - `do_predict`: False
520
+ - `eval_strategy`: steps
521
+ - `prediction_loss_only`: True
522
+ - `per_device_train_batch_size`: 10
523
+ - `per_device_eval_batch_size`: 10
524
+ - `per_gpu_train_batch_size`: None
525
+ - `per_gpu_eval_batch_size`: None
526
+ - `gradient_accumulation_steps`: 1
527
+ - `eval_accumulation_steps`: None
528
+ - `torch_empty_cache_steps`: None
529
+ - `learning_rate`: 5e-05
530
+ - `weight_decay`: 0.0
531
+ - `adam_beta1`: 0.9
532
+ - `adam_beta2`: 0.999
533
+ - `adam_epsilon`: 1e-08
534
+ - `max_grad_norm`: 1
535
+ - `num_train_epochs`: 1
536
+ - `max_steps`: -1
537
+ - `lr_scheduler_type`: linear
538
+ - `lr_scheduler_kwargs`: {}
539
+ - `warmup_ratio`: 0.0
540
+ - `warmup_steps`: 0
541
+ - `log_level`: passive
542
+ - `log_level_replica`: warning
543
+ - `log_on_each_node`: True
544
+ - `logging_nan_inf_filter`: True
545
+ - `save_safetensors`: True
546
+ - `save_on_each_node`: False
547
+ - `save_only_model`: False
548
+ - `restore_callback_states_from_checkpoint`: False
549
+ - `no_cuda`: False
550
+ - `use_cpu`: False
551
+ - `use_mps_device`: False
552
+ - `seed`: 42
553
+ - `data_seed`: None
554
+ - `jit_mode_eval`: False
555
+ - `use_ipex`: False
556
+ - `bf16`: False
557
+ - `fp16`: False
558
+ - `fp16_opt_level`: O1
559
+ - `half_precision_backend`: auto
560
+ - `bf16_full_eval`: False
561
+ - `fp16_full_eval`: False
562
+ - `tf32`: None
563
+ - `local_rank`: 0
564
+ - `ddp_backend`: None
565
+ - `tpu_num_cores`: None
566
+ - `tpu_metrics_debug`: False
567
+ - `debug`: []
568
+ - `dataloader_drop_last`: False
569
+ - `dataloader_num_workers`: 0
570
+ - `dataloader_prefetch_factor`: None
571
+ - `past_index`: -1
572
+ - `disable_tqdm`: False
573
+ - `remove_unused_columns`: True
574
+ - `label_names`: None
575
+ - `load_best_model_at_end`: False
576
+ - `ignore_data_skip`: False
577
+ - `fsdp`: []
578
+ - `fsdp_min_num_params`: 0
579
+ - `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
580
+ - `fsdp_transformer_layer_cls_to_wrap`: None
581
+ - `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
582
+ - `deepspeed`: None
583
+ - `label_smoothing_factor`: 0.0
584
+ - `optim`: adamw_torch
585
+ - `optim_args`: None
586
+ - `adafactor`: False
587
+ - `group_by_length`: False
588
+ - `length_column_name`: length
589
+ - `ddp_find_unused_parameters`: None
590
+ - `ddp_bucket_cap_mb`: None
591
+ - `ddp_broadcast_buffers`: False
592
+ - `dataloader_pin_memory`: True
593
+ - `dataloader_persistent_workers`: False
594
+ - `skip_memory_metrics`: True
595
+ - `use_legacy_prediction_loop`: False
596
+ - `push_to_hub`: False
597
+ - `resume_from_checkpoint`: None
598
+ - `hub_model_id`: None
599
+ - `hub_strategy`: every_save
600
+ - `hub_private_repo`: None
601
+ - `hub_always_push`: False
602
+ - `gradient_checkpointing`: False
603
+ - `gradient_checkpointing_kwargs`: None
604
+ - `include_inputs_for_metrics`: False
605
+ - `include_for_metrics`: []
606
+ - `eval_do_concat_batches`: True
607
+ - `fp16_backend`: auto
608
+ - `push_to_hub_model_id`: None
609
+ - `push_to_hub_organization`: None
610
+ - `mp_parameters`:
611
+ - `auto_find_batch_size`: False
612
+ - `full_determinism`: False
613
+ - `torchdynamo`: None
614
+ - `ray_scope`: last
615
+ - `ddp_timeout`: 1800
616
+ - `torch_compile`: False
617
+ - `torch_compile_backend`: None
618
+ - `torch_compile_mode`: None
619
+ - `dispatch_batches`: None
620
+ - `split_batches`: None
621
+ - `include_tokens_per_second`: False
622
+ - `include_num_input_tokens_seen`: False
623
+ - `neftune_noise_alpha`: None
624
+ - `optim_target_modules`: None
625
+ - `batch_eval_metrics`: False
626
+ - `eval_on_start`: False
627
+ - `use_liger_kernel`: False
628
+ - `eval_use_gather_object`: False
629
+ - `average_tokens_across_devices`: False
630
+ - `prompts`: None
631
+ - `batch_sampler`: batch_sampler
632
+ - `multi_dataset_batch_sampler`: round_robin
633
+
634
+ </details>
635
+
636
+ ### Training Logs
637
+ | Epoch | Step | Training Loss | cosine_ndcg@10 |
638
+ |:------:|:----:|:-------------:|:--------------:|
639
+ | 0.0735 | 500 | 0.0157 | - |
640
+ | 0.1470 | 1000 | 0.0231 | - |
641
+ | 0.2204 | 1500 | 0.0191 | - |
642
+ | 0.2939 | 2000 | 0.0179 | - |
643
+ | 0.3674 | 2500 | 0.0153 | - |
644
+ | 0.4409 | 3000 | 0.017 | - |
645
+ | 0.4702 | 3200 | - | 0.5705 |
646
+ | 0.5143 | 3500 | 0.0181 | - |
647
+ | 0.5878 | 4000 | 0.0131 | - |
648
+ | 0.6613 | 4500 | 0.0129 | - |
649
+ | 0.7348 | 5000 | 0.012 | - |
650
+ | 0.8082 | 5500 | 0.0117 | - |
651
+ | 0.8817 | 6000 | 0.0096 | - |
652
+ | 0.9405 | 6400 | - | 0.5906 |
653
+ | 0.9552 | 6500 | 0.0111 | - |
654
+ | 1.0 | 6805 | - | 0.5917 |
655
+
656
+
657
+ ### Framework Versions
658
+ - Python: 3.10.10
659
+ - Sentence Transformers: 3.3.1
660
+ - Transformers: 4.47.0
661
+ - PyTorch: 2.2.1+cu121
662
+ - Accelerate: 1.2.0
663
+ - Datasets: 3.1.0
664
+ - Tokenizers: 0.21.0
665
+
666
+ ## Citation
667
+
668
+ ### BibTeX
669
+
670
+ #### Sentence Transformers
671
+ ```bibtex
672
+ @inproceedings{reimers-2019-sentence-bert,
673
+ title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
674
+ author = "Reimers, Nils and Gurevych, Iryna",
675
+ booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
676
+ month = "11",
677
+ year = "2019",
678
+ publisher = "Association for Computational Linguistics",
679
+ url = "https://arxiv.org/abs/1908.10084",
680
+ }
681
+ ```
682
+
683
+ #### MultipleNegativesRankingLoss
684
+ ```bibtex
685
+ @misc{henderson2017efficient,
686
+ title={Efficient Natural Language Response Suggestion for Smart Reply},
687
+ author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
688
+ year={2017},
689
+ eprint={1705.00652},
690
+ archivePrefix={arXiv},
691
+ primaryClass={cs.CL}
692
+ }
693
+ ```
694
+
695
+ <!--
696
+ ## Glossary
697
+
698
+ *Clearly define terms in order to be accessible across audiences.*
699
+ -->
700
+
701
+ <!--
702
+ ## Model Card Authors
703
+
704
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
705
+ -->
706
+
707
+ <!--
708
+ ## Model Card Contact
709
+
710
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
711
+ -->
config.json ADDED
@@ -0,0 +1,28 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "/teamspace/studios/this_studio/model_ver2",
3
+ "architectures": [
4
+ "XLMRobertaModel"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "bos_token_id": 0,
8
+ "classifier_dropout": null,
9
+ "eos_token_id": 2,
10
+ "hidden_act": "gelu",
11
+ "hidden_dropout_prob": 0.1,
12
+ "hidden_size": 1024,
13
+ "initializer_range": 0.02,
14
+ "intermediate_size": 4096,
15
+ "layer_norm_eps": 1e-05,
16
+ "max_position_embeddings": 8194,
17
+ "model_type": "xlm-roberta",
18
+ "num_attention_heads": 16,
19
+ "num_hidden_layers": 24,
20
+ "output_past": true,
21
+ "pad_token_id": 1,
22
+ "position_embedding_type": "absolute",
23
+ "torch_dtype": "float32",
24
+ "transformers_version": "4.47.0",
25
+ "type_vocab_size": 1,
26
+ "use_cache": true,
27
+ "vocab_size": 250002
28
+ }
config_sentence_transformers.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "3.3.1",
4
+ "transformers": "4.47.0",
5
+ "pytorch": "2.2.1+cu121"
6
+ },
7
+ "prompts": {},
8
+ "default_prompt_name": null,
9
+ "similarity_fn_name": "cosine"
10
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:bc37a219d680ae199c04160afd8241c843f163f2b1a076cb313bffff35af4f8d
3
+ size 2271064456
modules.json ADDED
@@ -0,0 +1,20 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ },
14
+ {
15
+ "idx": 2,
16
+ "name": "2",
17
+ "path": "2_Normalize",
18
+ "type": "sentence_transformers.models.Normalize"
19
+ }
20
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 8192,
3
+ "do_lower_case": false
4
+ }
special_tokens_map.json ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": {
3
+ "content": "<s>",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "cls_token": {
10
+ "content": "<s>",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "eos_token": {
17
+ "content": "</s>",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "mask_token": {
24
+ "content": "<mask>",
25
+ "lstrip": true,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "pad_token": {
31
+ "content": "<pad>",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ },
37
+ "sep_token": {
38
+ "content": "</s>",
39
+ "lstrip": false,
40
+ "normalized": false,
41
+ "rstrip": false,
42
+ "single_word": false
43
+ },
44
+ "unk_token": {
45
+ "content": "<unk>",
46
+ "lstrip": false,
47
+ "normalized": false,
48
+ "rstrip": false,
49
+ "single_word": false
50
+ }
51
+ }
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:e4f7e21bec3fb0044ca0bb2d50eb5d4d8c596273c422baef84466d2c73748b9c
3
+ size 17083053
tokenizer_config.json ADDED
@@ -0,0 +1,63 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "<s>",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "<pad>",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "</s>",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "<unk>",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "250001": {
36
+ "content": "<mask>",
37
+ "lstrip": true,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "bos_token": "<s>",
45
+ "clean_up_tokenization_spaces": true,
46
+ "cls_token": "<s>",
47
+ "eos_token": "</s>",
48
+ "extra_special_tokens": {},
49
+ "mask_token": "<mask>",
50
+ "max_length": 8192,
51
+ "model_max_length": 8192,
52
+ "pad_to_multiple_of": null,
53
+ "pad_token": "<pad>",
54
+ "pad_token_type_id": 0,
55
+ "padding_side": "right",
56
+ "sep_token": "</s>",
57
+ "sp_model_kwargs": {},
58
+ "stride": 0,
59
+ "tokenizer_class": "XLMRobertaTokenizer",
60
+ "truncation_side": "right",
61
+ "truncation_strategy": "longest_first",
62
+ "unk_token": "<unk>"
63
+ }