ml-en-transliteration / target_tokenizer.json
Bajiyo's picture
Upload 8 files
7588ebf verified
"{\"class_name\": \"Tokenizer\", \"config\": {\"num_words\": null, \"filters\": \"!\\\"#$%&()*+,-./:;<=>?@[\\\\]^_`{|}~\\t\\n\", \"lower\": true, \"split\": \" \", \"char_level\": true, \"oov_token\": null, \"document_count\": 449666, \"word_counts\": \"{\\\"m\\\": 187415, \\\"o\\\": 129733, \\\"h\\\": 254343, \\\"a\\\": 692674, \\\"n\\\": 314008, \\\"u\\\": 126352, \\\"s\\\": 294713, \\\"l\\\": 129873, \\\"e\\\": 288162, \\\"r\\\": 235725, \\\" \\\": 268785, \\\"i\\\": 281704, \\\"w\\\": 11476, \\\"t\\\": 126565, \\\"j\\\": 116503, \\\"p\\\": 81880, \\\"y\\\": 102368, \\\"d\\\": 88139, \\\"c\\\": 41364, \\\"k\\\": 103219, \\\".\\\": 37321, \\\"f\\\": 20356, \\\"b\\\": 81069, \\\"v\\\": 67535, \\\"g\\\": 44312, \\\"z\\\": 8709, \\\"x\\\": 5508, \\\"q\\\": 1507, \\\"'\\\": 671, \\\"-\\\": 112, \\\",\\\": 8, \\\"(\\\": 3, \\\")\\\": 3, \\\"`\\\": 6, \\\":\\\": 5, \\\"5\\\": 8, \\\"2\\\": 7, \\\"+\\\": 1, \\\"\\\\\\\\\\\": 2, \\\"#\\\": 4, \\\"\\\\\\\"\\\": 1, \\\"3\\\": 1, \\\"4\\\": 1, \\\"\\\\u0d2e\\\": 1, \\\"\\\\u0d4b\\\": 1, \\\"\\\\u0d39\\\": 1, \\\"\\\\u0d28\\\": 1, \\\"\\\\u0d7b\\\": 1, \\\"]\\\": 2, \\\"0\\\": 1, \\\"\\\\u00a0\\\": 1, \\\"\\\\u200c\\\": 1, \\\"9\\\": 2, \\\"1\\\": 2}\", \"word_docs\": \"{\\\"h\\\": 215076, \\\"a\\\": 369354, \\\"o\\\": 109704, \\\"m\\\": 151470, \\\"n\\\": 229511, \\\"u\\\": 113884, \\\"s\\\": 242799, \\\"e\\\": 178798, \\\"l\\\": 108909, \\\" \\\": 171971, \\\"i\\\": 224881, \\\"r\\\": 196363, \\\"w\\\": 11398, \\\"t\\\": 111588, \\\"j\\\": 106924, \\\"y\\\": 96395, \\\"p\\\": 71232, \\\"d\\\": 81176, \\\"k\\\": 89778, \\\"c\\\": 38718, \\\".\\\": 22456, \\\"f\\\": 19447, \\\"b\\\": 70157, \\\"v\\\": 63272, \\\"g\\\": 36373, \\\"z\\\": 8332, \\\"x\\\": 5431, \\\"q\\\": 1505, \\\"'\\\": 670, \\\"-\\\": 110, \\\",\\\": 7, \\\")\\\": 3, \\\"(\\\": 3, \\\"`\\\": 6, \\\":\\\": 5, \\\"5\\\": 7, \\\"2\\\": 7, \\\"+\\\": 1, \\\"\\\\\\\\\\\": 2, \\\"#\\\": 2, \\\"\\\\\\\"\\\": 1, \\\"3\\\": 1, \\\"4\\\": 1, \\\"\\\\u0d39\\\": 1, \\\"\\\\u0d28\\\": 1, \\\"\\\\u0d2e\\\": 1, \\\"\\\\u0d4b\\\": 1, \\\"\\\\u0d7b\\\": 1, \\\"]\\\": 2, \\\"0\\\": 1, \\\"\\\\u00a0\\\": 1, \\\"\\\\u200c\\\": 1, \\\"9\\\": 1, \\\"1\\\": 1}\", \"index_docs\": \"{\\\"7\\\": 215076, \\\"1\\\": 369354, \\\"11\\\": 109704, \\\"9\\\": 151470, \\\"2\\\": 229511, \\\"13\\\": 113884, \\\"3\\\": 242799, \\\"4\\\": 178798, \\\"10\\\": 108909, \\\"6\\\": 171971, \\\"5\\\": 224881, \\\"8\\\": 196363, \\\"25\\\": 11398, \\\"12\\\": 111588, \\\"14\\\": 106924, \\\"16\\\": 96395, \\\"18\\\": 71232, \\\"17\\\": 81176, \\\"15\\\": 89778, \\\"22\\\": 38718, \\\"23\\\": 22456, \\\"24\\\": 19447, \\\"19\\\": 70157, \\\"20\\\": 63272, \\\"21\\\": 36373, \\\"26\\\": 8332, \\\"27\\\": 5431, \\\"28\\\": 1505, \\\"29\\\": 670, \\\"30\\\": 110, \\\"31\\\": 7, \\\"38\\\": 3, \\\"37\\\": 3, \\\"34\\\": 6, \\\"35\\\": 5, \\\"32\\\": 7, \\\"33\\\": 7, \\\"43\\\": 1, \\\"39\\\": 2, \\\"36\\\": 2, \\\"44\\\": 1, \\\"45\\\": 1, \\\"46\\\": 1, \\\"49\\\": 1, \\\"50\\\": 1, \\\"47\\\": 1, \\\"48\\\": 1, \\\"51\\\": 1, \\\"40\\\": 2, \\\"52\\\": 1, \\\"53\\\": 1, \\\"54\\\": 1, \\\"41\\\": 1, \\\"42\\\": 1}\", \"index_word\": \"{\\\"1\\\": \\\"a\\\", \\\"2\\\": \\\"n\\\", \\\"3\\\": \\\"s\\\", \\\"4\\\": \\\"e\\\", \\\"5\\\": \\\"i\\\", \\\"6\\\": \\\" \\\", \\\"7\\\": \\\"h\\\", \\\"8\\\": \\\"r\\\", \\\"9\\\": \\\"m\\\", \\\"10\\\": \\\"l\\\", \\\"11\\\": \\\"o\\\", \\\"12\\\": \\\"t\\\", \\\"13\\\": \\\"u\\\", \\\"14\\\": \\\"j\\\", \\\"15\\\": \\\"k\\\", \\\"16\\\": \\\"y\\\", \\\"17\\\": \\\"d\\\", \\\"18\\\": \\\"p\\\", \\\"19\\\": \\\"b\\\", \\\"20\\\": \\\"v\\\", \\\"21\\\": \\\"g\\\", \\\"22\\\": \\\"c\\\", \\\"23\\\": \\\".\\\", \\\"24\\\": \\\"f\\\", \\\"25\\\": \\\"w\\\", \\\"26\\\": \\\"z\\\", \\\"27\\\": \\\"x\\\", \\\"28\\\": \\\"q\\\", \\\"29\\\": \\\"'\\\", \\\"30\\\": \\\"-\\\", \\\"31\\\": \\\",\\\", \\\"32\\\": \\\"5\\\", \\\"33\\\": \\\"2\\\", \\\"34\\\": \\\"`\\\", \\\"35\\\": \\\":\\\", \\\"36\\\": \\\"#\\\", \\\"37\\\": \\\"(\\\", \\\"38\\\": \\\")\\\", \\\"39\\\": \\\"\\\\\\\\\\\", \\\"40\\\": \\\"]\\\", \\\"41\\\": \\\"9\\\", \\\"42\\\": \\\"1\\\", \\\"43\\\": \\\"+\\\", \\\"44\\\": \\\"\\\\\\\"\\\", \\\"45\\\": \\\"3\\\", \\\"46\\\": \\\"4\\\", \\\"47\\\": \\\"\\\\u0d2e\\\", \\\"48\\\": \\\"\\\\u0d4b\\\", \\\"49\\\": \\\"\\\\u0d39\\\", \\\"50\\\": \\\"\\\\u0d28\\\", \\\"51\\\": \\\"\\\\u0d7b\\\", \\\"52\\\": \\\"0\\\", \\\"53\\\": \\\"\\\\u00a0\\\", \\\"54\\\": \\\"\\\\u200c\\\"}\", \"word_index\": \"{\\\"a\\\": 1, \\\"n\\\": 2, \\\"s\\\": 3, \\\"e\\\": 4, \\\"i\\\": 5, \\\" \\\": 6, \\\"h\\\": 7, \\\"r\\\": 8, \\\"m\\\": 9, \\\"l\\\": 10, \\\"o\\\": 11, \\\"t\\\": 12, \\\"u\\\": 13, \\\"j\\\": 14, \\\"k\\\": 15, \\\"y\\\": 16, \\\"d\\\": 17, \\\"p\\\": 18, \\\"b\\\": 19, \\\"v\\\": 20, \\\"g\\\": 21, \\\"c\\\": 22, \\\".\\\": 23, \\\"f\\\": 24, \\\"w\\\": 25, \\\"z\\\": 26, \\\"x\\\": 27, \\\"q\\\": 28, \\\"'\\\": 29, \\\"-\\\": 30, \\\",\\\": 31, \\\"5\\\": 32, \\\"2\\\": 33, \\\"`\\\": 34, \\\":\\\": 35, \\\"#\\\": 36, \\\"(\\\": 37, \\\")\\\": 38, \\\"\\\\\\\\\\\": 39, \\\"]\\\": 40, \\\"9\\\": 41, \\\"1\\\": 42, \\\"+\\\": 43, \\\"\\\\\\\"\\\": 44, \\\"3\\\": 45, \\\"4\\\": 46, \\\"\\\\u0d2e\\\": 47, \\\"\\\\u0d4b\\\": 48, \\\"\\\\u0d39\\\": 49, \\\"\\\\u0d28\\\": 50, \\\"\\\\u0d7b\\\": 51, \\\"0\\\": 52, \\\"\\\\u00a0\\\": 53, \\\"\\\\u200c\\\": 54}\"}}"