| { | |
| "version": "1.0", | |
| "truncation": null, | |
| "padding": null, | |
| "added_tokens": [ | |
| { | |
| "id": 0, | |
| "content": "<pad>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 1, | |
| "content": "<cls>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 2, | |
| "content": "<sep>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 3, | |
| "content": "<unk>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| }, | |
| { | |
| "id": 4, | |
| "content": "<mask>", | |
| "single_word": false, | |
| "lstrip": false, | |
| "rstrip": false, | |
| "normalized": false, | |
| "special": true | |
| } | |
| ], | |
| "normalizer": null, | |
| "pre_tokenizer": null, | |
| "post_processor": { | |
| "type": "TemplateProcessing", | |
| "single": [ | |
| { | |
| "SpecialToken": { | |
| "id": "<cls>", | |
| "type_id": 0 | |
| } | |
| }, | |
| { | |
| "Sequence": { | |
| "id": "A", | |
| "type_id": 0 | |
| } | |
| }, | |
| { | |
| "SpecialToken": { | |
| "id": "<sep>", | |
| "type_id": 0 | |
| } | |
| } | |
| ], | |
| "pair": [ | |
| { | |
| "SpecialToken": { | |
| "id": "<cls>", | |
| "type_id": 0 | |
| } | |
| }, | |
| { | |
| "Sequence": { | |
| "id": "A", | |
| "type_id": 0 | |
| } | |
| }, | |
| { | |
| "SpecialToken": { | |
| "id": "<sep>", | |
| "type_id": 0 | |
| } | |
| }, | |
| { | |
| "Sequence": { | |
| "id": "B", | |
| "type_id": 1 | |
| } | |
| }, | |
| { | |
| "SpecialToken": { | |
| "id": "<sep>", | |
| "type_id": 1 | |
| } | |
| } | |
| ], | |
| "special_tokens": { | |
| "<cls>": { | |
| "id": "<cls>", | |
| "ids": [ | |
| 1 | |
| ], | |
| "tokens": [ | |
| "<cls>" | |
| ] | |
| }, | |
| "<sep>": { | |
| "id": "<sep>", | |
| "ids": [ | |
| 2 | |
| ], | |
| "tokens": [ | |
| "<sep>" | |
| ] | |
| } | |
| } | |
| }, | |
| "decoder": { | |
| "type": "Metaspace", | |
| "replacement": "▁", | |
| "add_prefix_space": true | |
| }, | |
| "model": { | |
| "type": "Unigram", | |
| "unk_id": 3, | |
| "vocab": [ | |
| [ | |
| "<pad>", | |
| 0.0 | |
| ], | |
| [ | |
| "<cls>", | |
| 0.0 | |
| ], | |
| [ | |
| "<sep>", | |
| 0.0 | |
| ], | |
| [ | |
| "<unk>", | |
| 0.0 | |
| ], | |
| [ | |
| "<mask>", | |
| 0.0 | |
| ], | |
| [ | |
| "Y", | |
| -3.1509086450638755 | |
| ], | |
| [ | |
| "H", | |
| -3.3896571454274156 | |
| ], | |
| [ | |
| "M", | |
| -3.419833263673423 | |
| ], | |
| [ | |
| "Q", | |
| -3.5122514279760804 | |
| ], | |
| [ | |
| "F", | |
| -3.5318715443351483 | |
| ], | |
| [ | |
| "N", | |
| -3.6735769356989 | |
| ], | |
| [ | |
| "A", | |
| -3.7004076405792734 | |
| ], | |
| [ | |
| "L", | |
| -3.7517736006002753 | |
| ], | |
| [ | |
| "C", | |
| -3.82533728855746 | |
| ], | |
| [ | |
| "T", | |
| -3.845094787136208 | |
| ], | |
| [ | |
| "R", | |
| -3.85120522720325 | |
| ], | |
| [ | |
| "P", | |
| -3.8944513102878826 | |
| ], | |
| [ | |
| "W", | |
| -3.910536407899921 | |
| ], | |
| [ | |
| "K", | |
| -3.9181905087306057 | |
| ], | |
| [ | |
| "E", | |
| -3.9392286405437424 | |
| ], | |
| [ | |
| "G", | |
| -3.9436969789665177 | |
| ], | |
| [ | |
| "S", | |
| -3.9513056815431504 | |
| ], | |
| [ | |
| "V", | |
| -3.9521272143039567 | |
| ], | |
| [ | |
| "D", | |
| -4.053606203549702 | |
| ], | |
| [ | |
| "I", | |
| -4.087833115224349 | |
| ], | |
| [ | |
| "AA", | |
| -4.764966670027674 | |
| ], | |
| [ | |
| "LL", | |
| -4.902886691904113 | |
| ], | |
| [ | |
| "LA", | |
| -5.08072623495822 | |
| ], | |
| [ | |
| "AL", | |
| -5.087271044534189 | |
| ], | |
| [ | |
| "SS", | |
| -5.121051536194255 | |
| ], | |
| [ | |
| "LS", | |
| -5.240240142812667 | |
| ], | |
| [ | |
| "SL", | |
| -5.246958672682522 | |
| ], | |
| [ | |
| "GG", | |
| -5.31104069359229 | |
| ], | |
| [ | |
| "AG", | |
| -5.327169120628199 | |
| ], | |
| [ | |
| "VL", | |
| -5.391035733278736 | |
| ], | |
| [ | |
| "RL", | |
| -5.396912703019062 | |
| ], | |
| [ | |
| "AV", | |
| -5.417974840306595 | |
| ], | |
| [ | |
| "GL", | |
| -5.438738874872717 | |
| ], | |
| [ | |
| "LV", | |
| -5.4539685415962555 | |
| ], | |
| [ | |
| "SG", | |
| -5.468530821013996 | |
| ], | |
| [ | |
| "RR", | |
| -5.469381686553186 | |
| ], | |
| [ | |
| "EL", | |
| -5.487314422405181 | |
| ], | |
| [ | |
| "VA", | |
| -5.500947343968374 | |
| ], | |
| [ | |
| "LR", | |
| -5.504465608087704 | |
| ], | |
| [ | |
| "GA", | |
| -5.508572577172163 | |
| ], | |
| [ | |
| "SA", | |
| -5.509497866677481 | |
| ], | |
| [ | |
| "EE", | |
| -5.509638117132358 | |
| ], | |
| [ | |
| "LP", | |
| -5.525125791450426 | |
| ], | |
| [ | |
| "LG", | |
| -5.531523151805965 | |
| ], | |
| [ | |
| "TL", | |
| -5.550336580253715 | |
| ], | |
| [ | |
| "AS", | |
| -5.555359709285966 | |
| ], | |
| [ | |
| "VV", | |
| -5.5822783949387205 | |
| ], | |
| [ | |
| "LT", | |
| -5.5949437276928276 | |
| ], | |
| [ | |
| "LD", | |
| -5.609175705941702 | |
| ], | |
| [ | |
| "GS", | |
| -5.615707589762941 | |
| ], | |
| [ | |
| "TA", | |
| -5.6212468269382665 | |
| ], | |
| [ | |
| "LE", | |
| -5.62152407771382 | |
| ], | |
| [ | |
| "DL", | |
| -5.625455355831432 | |
| ], | |
| [ | |
| "KK", | |
| -5.632789431683037 | |
| ], | |
| [ | |
| "EA", | |
| -5.635793018508904 | |
| ], | |
| [ | |
| "IL", | |
| -5.6365381446185285 | |
| ], | |
| [ | |
| "GV", | |
| -5.674808795328973 | |
| ], | |
| [ | |
| "AR", | |
| -5.681247789262706 | |
| ], | |
| [ | |
| "SV", | |
| -5.6919674499343085 | |
| ], | |
| [ | |
| "RA", | |
| -5.70230195746182 | |
| ], | |
| [ | |
| "ST", | |
| -5.705482521677933 | |
| ], | |
| [ | |
| "AE", | |
| -5.707097244257659 | |
| ], | |
| [ | |
| "DG", | |
| -5.7111206266490395 | |
| ], | |
| [ | |
| "KL", | |
| -5.714200191449681 | |
| ], | |
| [ | |
| "PA", | |
| -5.714888070036569 | |
| ], | |
| [ | |
| "AT", | |
| -5.7387016264645485 | |
| ], | |
| [ | |
| "VS", | |
| -5.740918194807335 | |
| ], | |
| [ | |
| "DA", | |
| -5.747346276581707 | |
| ], | |
| [ | |
| "SP", | |
| -5.750453122200705 | |
| ], | |
| [ | |
| "IS", | |
| -5.7575142466303255 | |
| ], | |
| [ | |
| "GR", | |
| -5.757690327764845 | |
| ], | |
| [ | |
| "LI", | |
| -5.76013806021334 | |
| ], | |
| [ | |
| "TG", | |
| -5.761512737903605 | |
| ], | |
| [ | |
| "TV", | |
| -5.764206078890442 | |
| ], | |
| [ | |
| "IA", | |
| -5.777844220177171 | |
| ], | |
| [ | |
| "AD", | |
| -5.780310267356683 | |
| ], | |
| [ | |
| "TT", | |
| -5.785480977584342 | |
| ], | |
| [ | |
| "TS", | |
| -5.791507570316087 | |
| ], | |
| [ | |
| "LK", | |
| -5.802866544052941 | |
| ], | |
| [ | |
| "EK", | |
| -5.804278043814918 | |
| ], | |
| [ | |
| "GT", | |
| -5.819460987630665 | |
| ], | |
| [ | |
| "PP", | |
| -5.821173747611947 | |
| ], | |
| [ | |
| "KE", | |
| -5.822033413758428 | |
| ], | |
| [ | |
| "ER", | |
| -5.852332647299409 | |
| ], | |
| [ | |
| "SD", | |
| -5.852838901980473 | |
| ], | |
| [ | |
| "SI", | |
| -5.8533832214242345 | |
| ], | |
| [ | |
| "PS", | |
| -5.854586170941655 | |
| ], | |
| [ | |
| "AP", | |
| -5.856858689030043 | |
| ], | |
| [ | |
| "DE", | |
| -5.867028022084829 | |
| ], | |
| [ | |
| "GD", | |
| -5.876378483403268 | |
| ], | |
| [ | |
| "DD", | |
| -5.876725852666299 | |
| ], | |
| [ | |
| "NL", | |
| -5.884448903872826 | |
| ], | |
| [ | |
| "VT", | |
| -5.88772386460313 | |
| ], | |
| [ | |
| "PL", | |
| -5.907796388921314 | |
| ], | |
| [ | |
| "RS", | |
| -5.909472604917513 | |
| ], | |
| [ | |
| "TP", | |
| -5.910221549171844 | |
| ], | |
| [ | |
| "EI", | |
| -5.916003495337167 | |
| ], | |
| [ | |
| "SR", | |
| -5.918245244245625 | |
| ], | |
| [ | |
| "GE", | |
| -5.918941142869885 | |
| ], | |
| [ | |
| "VD", | |
| -5.924154015576642 | |
| ], | |
| [ | |
| "ID", | |
| -5.927743633953453 | |
| ], | |
| [ | |
| "EV", | |
| -5.931109554224724 | |
| ], | |
| [ | |
| "VG", | |
| -5.936172020091348 | |
| ], | |
| [ | |
| "VE", | |
| -5.9407666092559595 | |
| ], | |
| [ | |
| "GI", | |
| -5.953825669400469 | |
| ], | |
| [ | |
| "DV", | |
| -5.964826749154037 | |
| ], | |
| [ | |
| "KI", | |
| -5.965011602414927 | |
| ], | |
| [ | |
| "AI", | |
| -5.966134585178457 | |
| ], | |
| [ | |
| "IV", | |
| -5.966562340591041 | |
| ], | |
| [ | |
| "RV", | |
| -5.968891258580745 | |
| ], | |
| [ | |
| "FL", | |
| -5.973183082312524 | |
| ], | |
| [ | |
| "SE", | |
| -5.978660102843701 | |
| ], | |
| [ | |
| "IE", | |
| -5.990855196049141 | |
| ], | |
| [ | |
| "QL", | |
| -5.994359870798313 | |
| ], | |
| [ | |
| "PV", | |
| -5.995163841048182 | |
| ], | |
| [ | |
| "RE", | |
| -5.9975055476878065 | |
| ], | |
| [ | |
| "ED", | |
| -6.015188056772153 | |
| ], | |
| [ | |
| "KA", | |
| -6.01643176845711 | |
| ], | |
| [ | |
| "LF", | |
| -6.0171694056170075 | |
| ], | |
| [ | |
| "IG", | |
| -6.020600912983243 | |
| ], | |
| [ | |
| "RG", | |
| -6.022579399372601 | |
| ], | |
| [ | |
| "II", | |
| -6.026894696516262 | |
| ], | |
| [ | |
| "PG", | |
| -6.027207909959376 | |
| ], | |
| [ | |
| "VR", | |
| -6.03105386262591 | |
| ], | |
| [ | |
| "KS", | |
| -6.039104198463601 | |
| ], | |
| [ | |
| "IT", | |
| -6.044874540149573 | |
| ], | |
| [ | |
| "LQ", | |
| -6.0719229057700765 | |
| ], | |
| [ | |
| "VP", | |
| -6.073861256741292 | |
| ], | |
| [ | |
| "NG", | |
| -6.087855724157491 | |
| ], | |
| [ | |
| "DS", | |
| -6.093824372411833 | |
| ], | |
| [ | |
| "EG", | |
| -6.095757478155381 | |
| ], | |
| [ | |
| "GK", | |
| -6.099067993197011 | |
| ], | |
| [ | |
| "ES", | |
| -6.101068768641547 | |
| ], | |
| [ | |
| "TI", | |
| -6.103630143225411 | |
| ], | |
| [ | |
| "KT", | |
| -6.108252739228014 | |
| ], | |
| [ | |
| "ET", | |
| -6.1155235309558655 | |
| ], | |
| [ | |
| "VI", | |
| -6.115661963794853 | |
| ], | |
| [ | |
| "DI", | |
| -6.120589231585161 | |
| ], | |
| [ | |
| "RP", | |
| -6.121380333766949 | |
| ], | |
| [ | |
| "SF", | |
| -6.133861651537437 | |
| ], | |
| [ | |
| "PE", | |
| -6.138418425045256 | |
| ], | |
| [ | |
| "FS", | |
| -6.139131547464277 | |
| ], | |
| [ | |
| "RI", | |
| -6.1391477529387615 | |
| ], | |
| [ | |
| "LN", | |
| -6.1404965267449985 | |
| ], | |
| [ | |
| "NS", | |
| -6.144657817213831 | |
| ], | |
| [ | |
| "KV", | |
| -6.152332752044504 | |
| ], | |
| [ | |
| "RD", | |
| -6.154617866692302 | |
| ], | |
| [ | |
| "KR", | |
| -6.155330258447307 | |
| ], | |
| [ | |
| "KD", | |
| -6.1652649821258905 | |
| ], | |
| [ | |
| "SK", | |
| -6.1693163139654725 | |
| ], | |
| [ | |
| "IP", | |
| -6.1828230004197025 | |
| ], | |
| [ | |
| "NI", | |
| -6.184849882544997 | |
| ], | |
| [ | |
| "DP", | |
| -6.186014251325707 | |
| ], | |
| [ | |
| "QA", | |
| -6.191570123841911 | |
| ], | |
| [ | |
| "PD", | |
| -6.194909821917465 | |
| ], | |
| [ | |
| "TD", | |
| -6.196392015508456 | |
| ], | |
| [ | |
| "RT", | |
| -6.209516518529492 | |
| ], | |
| [ | |
| "IK", | |
| -6.214740590660165 | |
| ], | |
| [ | |
| "PT", | |
| -6.225990661106273 | |
| ], | |
| [ | |
| "KN", | |
| -6.239211240911878 | |
| ], | |
| [ | |
| "RK", | |
| -6.242072582821788 | |
| ], | |
| [ | |
| "DR", | |
| -6.254359548545143 | |
| ], | |
| [ | |
| "NA", | |
| -6.26545887359997 | |
| ], | |
| [ | |
| "SN", | |
| -6.285562575311767 | |
| ], | |
| [ | |
| "GF", | |
| -6.28571824602113 | |
| ], | |
| [ | |
| "TE", | |
| -6.309775318855182 | |
| ], | |
| [ | |
| "IR", | |
| -6.31828807247183 | |
| ], | |
| [ | |
| "EN", | |
| -6.318322128704557 | |
| ], | |
| [ | |
| "KG", | |
| -6.32060657047373 | |
| ], | |
| [ | |
| "NN", | |
| -6.323083715957198 | |
| ], | |
| [ | |
| "KP", | |
| -6.341333299431328 | |
| ], | |
| [ | |
| "GP", | |
| -6.3491864918774095 | |
| ], | |
| [ | |
| "NP", | |
| -6.34927814518192 | |
| ], | |
| [ | |
| "YL", | |
| -6.351753043279688 | |
| ], | |
| [ | |
| "IN", | |
| -6.3572834033221515 | |
| ], | |
| [ | |
| "NV", | |
| -6.360839268616893 | |
| ], | |
| [ | |
| "DT", | |
| -6.375617439783092 | |
| ], | |
| [ | |
| "AK", | |
| -6.375711508198858 | |
| ], | |
| [ | |
| "EQ", | |
| -6.376112537075828 | |
| ], | |
| [ | |
| "FG", | |
| -6.386837832927128 | |
| ], | |
| [ | |
| "FD", | |
| -6.394930765846015 | |
| ], | |
| [ | |
| "ND", | |
| -6.398211625118337 | |
| ], | |
| [ | |
| "GN", | |
| -6.40179470374931 | |
| ], | |
| [ | |
| "VK", | |
| -6.402752834893931 | |
| ], | |
| [ | |
| "FV", | |
| -6.409266328977472 | |
| ], | |
| [ | |
| "TR", | |
| -6.416946537362946 | |
| ], | |
| [ | |
| "VF", | |
| -6.417794842397651 | |
| ], | |
| [ | |
| "SQ", | |
| -6.446275702521779 | |
| ], | |
| [ | |
| "PR", | |
| -6.467885446120821 | |
| ], | |
| [ | |
| "IF", | |
| -6.468539334368343 | |
| ], | |
| [ | |
| "X", | |
| -7.375634428511613 | |
| ], | |
| [ | |
| "B", | |
| -14.220849172973876 | |
| ], | |
| [ | |
| "Z", | |
| -15.447814045084268 | |
| ], | |
| [ | |
| "U", | |
| -16.127265163683706 | |
| ], | |
| [ | |
| "O", | |
| -19.622373241931182 | |
| ] | |
| ] | |
| } | |
| } |