data/lang_bpe_500_fallback_coverage_0.99/tokens.txt

<blk> 0
<sos/eos> 1
<unk> 2
<0x00> 3
<0x01> 4
<0x02> 5
<0x03> 6
<0x04> 7
<0x05> 8
<0x06> 9
<0x07> 10
<0x08> 11
<0x09> 12
<0x0A> 13
<0x0B> 14
<0x0C> 15
<0x0D> 16
<0x0E> 17
<0x0F> 18
<0x10> 19
<0x11> 20
<0x12> 21
<0x13> 22
<0x14> 23
<0x15> 24
<0x16> 25
<0x17> 26
<0x18> 27
<0x19> 28
<0x1A> 29
<0x1B> 30
<0x1C> 31
<0x1D> 32
<0x1E> 33
<0x1F> 34
<0x20> 35
<0x21> 36
<0x22> 37
<0x23> 38
<0x24> 39
<0x25> 40
<0x26> 41
<0x27> 42
<0x28> 43
<0x29> 44
<0x2A> 45
<0x2B> 46
<0x2C> 47
<0x2D> 48
<0x2E> 49
<0x2F> 50
<0x30> 51
<0x31> 52
<0x32> 53
<0x33> 54
<0x34> 55
<0x35> 56
<0x36> 57
<0x37> 58
<0x38> 59
<0x39> 60
<0x3A> 61
<0x3B> 62
<0x3C> 63
<0x3D> 64
<0x3E> 65
<0x3F> 66
<0x40> 67
<0x41> 68
<0x42> 69
<0x43> 70
<0x44> 71
<0x45> 72
<0x46> 73
<0x47> 74
<0x48> 75
<0x49> 76
<0x4A> 77
<0x4B> 78
<0x4C> 79
<0x4D> 80
<0x4E> 81
<0x4F> 82
<0x50> 83
<0x51> 84
<0x52> 85
<0x53> 86
<0x54> 87
<0x55> 88
<0x56> 89
<0x57> 90
<0x58> 91
<0x59> 92
<0x5A> 93
<0x5B> 94
<0x5C> 95
<0x5D> 96
<0x5E> 97
<0x5F> 98
<0x60> 99
<0x61> 100
<0x62> 101
<0x63> 102
<0x64> 103
<0x65> 104
<0x66> 105
<0x67> 106
<0x68> 107
<0x69> 108
<0x6A> 109
<0x6B> 110
<0x6C> 111
<0x6D> 112
<0x6E> 113
<0x6F> 114
<0x70> 115
<0x71> 116
<0x72> 117
<0x73> 118
<0x74> 119
<0x75> 120
<0x76> 121
<0x77> 122
<0x78> 123
<0x79> 124
<0x7A> 125
<0x7B> 126
<0x7C> 127
<0x7D> 128
<0x7E> 129
<0x7F> 130
<0x80> 131
<0x81> 132
<0x82> 133
<0x83> 134
<0x84> 135
<0x85> 136
<0x86> 137
<0x87> 138
<0x88> 139
<0x89> 140
<0x8A> 141
<0x8B> 142
<0x8C> 143
<0x8D> 144
<0x8E> 145
<0x8F> 146
<0x90> 147
<0x91> 148
<0x92> 149
<0x93> 150
<0x94> 151
<0x95> 152
<0x96> 153
<0x97> 154
<0x98> 155
<0x99> 156
<0x9A> 157
<0x9B> 158
<0x9C> 159
<0x9D> 160
<0x9E> 161
<0x9F> 162
<0xA0> 163
<0xA1> 164
<0xA2> 165
<0xA3> 166
<0xA4> 167
<0xA5> 168
<0xA6> 169
<0xA7> 170
<0xA8> 171
<0xA9> 172
<0xAA> 173
<0xAB> 174
<0xAC> 175
<0xAD> 176
<0xAE> 177
<0xAF> 178
<0xB0> 179
<0xB1> 180
<0xB2> 181
<0xB3> 182
<0xB4> 183
<0xB5> 184
<0xB6> 185
<0xB7> 186
<0xB8> 187
<0xB9> 188
<0xBA> 189
<0xBB> 190
<0xBC> 191
<0xBD> 192
<0xBE> 193
<0xBF> 194
<0xC0> 195
<0xC1> 196
<0xC2> 197
<0xC3> 198
<0xC4> 199
<0xC5> 200
<0xC6> 201
<0xC7> 202
<0xC8> 203
<0xC9> 204
<0xCA> 205
<0xCB> 206
<0xCC> 207
<0xCD> 208
<0xCE> 209
<0xCF> 210
<0xD0> 211
<0xD1> 212
<0xD2> 213
<0xD3> 214
<0xD4> 215
<0xD5> 216
<0xD6> 217
<0xD7> 218
<0xD8> 219
<0xD9> 220
<0xDA> 221
<0xDB> 222
<0xDC> 223
<0xDD> 224
<0xDE> 225
<0xDF> 226
<0xE0> 227
<0xE1> 228
<0xE2> 229
<0xE3> 230
<0xE4> 231
<0xE5> 232
<0xE6> 233
<0xE7> 234
<0xE8> 235
<0xE9> 236
<0xEA> 237
<0xEB> 238
<0xEC> 239
<0xED> 240
<0xEE> 241
<0xEF> 242
<0xF0> 243
<0xF1> 244
<0xF2> 245
<0xF3> 246
<0xF4> 247
<0xF5> 248
<0xF6> 249
<0xF7> 250
<0xF8> 251
<0xF9> 252
<0xFA> 253
<0xFB> 254
<0xFC> 255
<0xFD> 256
<0xFE> 257
<0xFF> 258
▁ 259
s 260
S 261
, 262
T 263
▁THE 264
▁the 265
t 266
. 267
E 268
o 269
e 270
a 271
n 272
ED 273
ed 274
D 275
y 276
A 277
▁A 278
u 279
▁I 280
I 281
N 282
Y 283
d 284
▁AND 285
O 286
▁TO 287
▁OF 288
▁of 289
▁to 290
M 291
ING 292
▁and 293
ing 294
▁a 295
i 296
m 297
re 298
P 299
p 300
st 301
c 302
b 303
U 304
' 305
f 306
▁F 307
AR 308
C 309
▁IN 310
▁W 311
OR 312
L 313
ER 314
or 315
▁in 316
w 317
er 318
▁HE 319
r 320
F 321
G 322
le 323
▁w 324
RE 325
AL 326
W 327
▁M 328
▁C 329
ar 330
in 331
▁B 332
LE 333
EN 334
H 335
K 336
▁H 337
B 338
▁he 339
LY 340
l 341
IN 342
▁f 343
ly 344
k 345
TH 346
▁G 347
ON 348
th 349
▁WAS 350
h 351
▁THAT 352
▁was 353
▁BE 354
▁IT 355
▁be 356
g 357
▁that 358
▁P 359
al 360
on 361
se 362
ES 363
ST 364
SE 365
▁E 366
▁c 367
RO 368
CH 369
es 370
en 371
it 372
nd 373
RI 374
IT 375
▁FOR 376
▁it 377
R 378
an 379
▁D 380
AN 381
▁HIS 382
▁YOU 383
ri 384
▁RE 385
▁for 386
V 387
US 388
ro 389
us 390
▁his 391
▁WITH 392
v 393
▁AS 394
▁p 395
ve 396
▁g 397
▁with 398
CE 399
ce 400
ra 401
▁re 402
li 403
▁ST 404
▁you 405
ENT 406
▁\" 407
at 408
▁HAD 409
▁HER 410
▁had 411
RA 412
▁as 413
ent 414
VE 415
ow 416
▁NOT 417
TER 418
▁e 419
▁her 420
ch 421
ur 422
UR 423
he 424
▁The 425
ne 426
ter 427
▁L 428
\" 429
▁not 430
▁ON 431
ad 432
▁me 433
AT 434
▁SO 435
▁ME 436
IR 437
AD 438
lo 439
▁is 440
OW 441
▁BUT 442
▁SHE 443
▁on 444
ir 445
ic 446
▁IS 447
IC 448
LO 449
EL 450
▁DE 451
▁ma 452
▁de 453
IL 454
▁AT 455
te 456
IGHT 457
LI 458
ET 459
VER 460
▁ha 461
▁DO 462
▁SU 463
me 464
▁so 465
ck 466
AM 467
▁do 468
IS 469
el 470
▁CO 471
ight 472
ng 473
AND 474
sh 475
▁at 476
▁MA 477
am 478
▁WE 479
hi 480
il 481
▁ho 482
is 483
▁SA 484
la 485
et 486
▁no 487
UN 488
▁she 489
▁HIM 490
ut 491
ther 492
▁him 493
▁HAVE 494
ke 495
▁mo 496
▁MY 497
" 498
\ 499