Spaces:
Running
on
T4
Running
on
T4
use explicit code instead of relying on release download
Browse files
Preprocessing/multilinguality/iso_lookup.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|
Preprocessing/multilinguality/iso_to_fullname.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|
Preprocessing/multilinguality/iso_to_long_lat.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|
Preprocessing/multilinguality/iso_to_memberships.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|
Preprocessing/multilinguality/supervised_languages.json
ADDED
|
@@ -0,0 +1,464 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
[
|
| 2 |
+
"eng",
|
| 3 |
+
"deu",
|
| 4 |
+
"fra",
|
| 5 |
+
"spa",
|
| 6 |
+
"cmn",
|
| 7 |
+
"por",
|
| 8 |
+
"pol",
|
| 9 |
+
"ita",
|
| 10 |
+
"nld",
|
| 11 |
+
"ell",
|
| 12 |
+
"fin",
|
| 13 |
+
"vie",
|
| 14 |
+
"rus",
|
| 15 |
+
"hun",
|
| 16 |
+
"bem",
|
| 17 |
+
"swh",
|
| 18 |
+
"amh",
|
| 19 |
+
"wol",
|
| 20 |
+
"mal",
|
| 21 |
+
"chv",
|
| 22 |
+
"iba",
|
| 23 |
+
"jav",
|
| 24 |
+
"fon",
|
| 25 |
+
"hau",
|
| 26 |
+
"lbb",
|
| 27 |
+
"kik",
|
| 28 |
+
"lin",
|
| 29 |
+
"lug",
|
| 30 |
+
"luo",
|
| 31 |
+
"sxb",
|
| 32 |
+
"yor",
|
| 33 |
+
"nya",
|
| 34 |
+
"loz",
|
| 35 |
+
"toi",
|
| 36 |
+
"afr",
|
| 37 |
+
"arb",
|
| 38 |
+
"asm",
|
| 39 |
+
"ast",
|
| 40 |
+
"azj",
|
| 41 |
+
"bel",
|
| 42 |
+
"bul",
|
| 43 |
+
"ben",
|
| 44 |
+
"bos",
|
| 45 |
+
"cat",
|
| 46 |
+
"ceb",
|
| 47 |
+
"sdh",
|
| 48 |
+
"ces",
|
| 49 |
+
"cym",
|
| 50 |
+
"dan",
|
| 51 |
+
"ekk",
|
| 52 |
+
"pes",
|
| 53 |
+
"fil",
|
| 54 |
+
"gle",
|
| 55 |
+
"glg",
|
| 56 |
+
"guj",
|
| 57 |
+
"heb",
|
| 58 |
+
"hin",
|
| 59 |
+
"hrv",
|
| 60 |
+
"hye",
|
| 61 |
+
"ind",
|
| 62 |
+
"ibo",
|
| 63 |
+
"isl",
|
| 64 |
+
"kat",
|
| 65 |
+
"kam",
|
| 66 |
+
"kea",
|
| 67 |
+
"kaz",
|
| 68 |
+
"khm",
|
| 69 |
+
"kan",
|
| 70 |
+
"kor",
|
| 71 |
+
"ltz",
|
| 72 |
+
"lao",
|
| 73 |
+
"lit",
|
| 74 |
+
"lvs",
|
| 75 |
+
"mri",
|
| 76 |
+
"mkd",
|
| 77 |
+
"xng",
|
| 78 |
+
"mar",
|
| 79 |
+
"zsm",
|
| 80 |
+
"mlt",
|
| 81 |
+
"oci",
|
| 82 |
+
"ory",
|
| 83 |
+
"pan",
|
| 84 |
+
"pst",
|
| 85 |
+
"ron",
|
| 86 |
+
"snd",
|
| 87 |
+
"slk",
|
| 88 |
+
"slv",
|
| 89 |
+
"sna",
|
| 90 |
+
"som",
|
| 91 |
+
"srp",
|
| 92 |
+
"swe",
|
| 93 |
+
"tam",
|
| 94 |
+
"tel",
|
| 95 |
+
"tgk",
|
| 96 |
+
"tur",
|
| 97 |
+
"ukr",
|
| 98 |
+
"umb",
|
| 99 |
+
"urd",
|
| 100 |
+
"uzn",
|
| 101 |
+
"bhd",
|
| 102 |
+
"kfs",
|
| 103 |
+
"dgo",
|
| 104 |
+
"gbk",
|
| 105 |
+
"bgc",
|
| 106 |
+
"xnr",
|
| 107 |
+
"kfx",
|
| 108 |
+
"mjl",
|
| 109 |
+
"bfz",
|
| 110 |
+
"acf",
|
| 111 |
+
"bss",
|
| 112 |
+
"inb",
|
| 113 |
+
"nca",
|
| 114 |
+
"quh",
|
| 115 |
+
"wap",
|
| 116 |
+
"acr",
|
| 117 |
+
"bus",
|
| 118 |
+
"dgr",
|
| 119 |
+
"maz",
|
| 120 |
+
"nch",
|
| 121 |
+
"qul",
|
| 122 |
+
"tav",
|
| 123 |
+
"wmw",
|
| 124 |
+
"acu",
|
| 125 |
+
"byr",
|
| 126 |
+
"dik",
|
| 127 |
+
"iou",
|
| 128 |
+
"mbb",
|
| 129 |
+
"ncj",
|
| 130 |
+
"qvc",
|
| 131 |
+
"tbc",
|
| 132 |
+
"xed",
|
| 133 |
+
"agd",
|
| 134 |
+
"bzh",
|
| 135 |
+
"djk",
|
| 136 |
+
"ipi",
|
| 137 |
+
"mbc",
|
| 138 |
+
"ncl",
|
| 139 |
+
"qve",
|
| 140 |
+
"tbg",
|
| 141 |
+
"xon",
|
| 142 |
+
"agg",
|
| 143 |
+
"bzj",
|
| 144 |
+
"dop",
|
| 145 |
+
"jac",
|
| 146 |
+
"mbh",
|
| 147 |
+
"ncu",
|
| 148 |
+
"qvh",
|
| 149 |
+
"tbl",
|
| 150 |
+
"xtd",
|
| 151 |
+
"agn",
|
| 152 |
+
"caa",
|
| 153 |
+
"jic",
|
| 154 |
+
"mbj",
|
| 155 |
+
"ndj",
|
| 156 |
+
"qvm",
|
| 157 |
+
"tbz",
|
| 158 |
+
"xtm",
|
| 159 |
+
"agr",
|
| 160 |
+
"cab",
|
| 161 |
+
"emp",
|
| 162 |
+
"jiv",
|
| 163 |
+
"mbt",
|
| 164 |
+
"nfa",
|
| 165 |
+
"qvn",
|
| 166 |
+
"tca",
|
| 167 |
+
"yaa",
|
| 168 |
+
"agu",
|
| 169 |
+
"cap",
|
| 170 |
+
"jvn",
|
| 171 |
+
"mca",
|
| 172 |
+
"ngp",
|
| 173 |
+
"qvs",
|
| 174 |
+
"tcs",
|
| 175 |
+
"yad",
|
| 176 |
+
"aia",
|
| 177 |
+
"car",
|
| 178 |
+
"ese",
|
| 179 |
+
"mcb",
|
| 180 |
+
"ngu",
|
| 181 |
+
"qvw",
|
| 182 |
+
"yal",
|
| 183 |
+
"cax",
|
| 184 |
+
"kaq",
|
| 185 |
+
"mcd",
|
| 186 |
+
"nhe",
|
| 187 |
+
"qvz",
|
| 188 |
+
"tee",
|
| 189 |
+
"ycn",
|
| 190 |
+
"ake",
|
| 191 |
+
"cbc",
|
| 192 |
+
"far",
|
| 193 |
+
"mco",
|
| 194 |
+
"qwh",
|
| 195 |
+
"yka",
|
| 196 |
+
"alp",
|
| 197 |
+
"cbi",
|
| 198 |
+
"kdc",
|
| 199 |
+
"mcp",
|
| 200 |
+
"nhu",
|
| 201 |
+
"qxh",
|
| 202 |
+
"ame",
|
| 203 |
+
"cbr",
|
| 204 |
+
"gai",
|
| 205 |
+
"kde",
|
| 206 |
+
"mcq",
|
| 207 |
+
"nhw",
|
| 208 |
+
"qxn",
|
| 209 |
+
"tew",
|
| 210 |
+
"yre",
|
| 211 |
+
"amf",
|
| 212 |
+
"cbs",
|
| 213 |
+
"gam",
|
| 214 |
+
"kdl",
|
| 215 |
+
"mdy",
|
| 216 |
+
"nhy",
|
| 217 |
+
"qxo",
|
| 218 |
+
"tfr",
|
| 219 |
+
"yva",
|
| 220 |
+
"amk",
|
| 221 |
+
"cbt",
|
| 222 |
+
"geb",
|
| 223 |
+
"kek",
|
| 224 |
+
"med",
|
| 225 |
+
"nin",
|
| 226 |
+
"rai",
|
| 227 |
+
"zaa",
|
| 228 |
+
"apb",
|
| 229 |
+
"cbu",
|
| 230 |
+
"glk",
|
| 231 |
+
"ken",
|
| 232 |
+
"mee",
|
| 233 |
+
"nko",
|
| 234 |
+
"rgu",
|
| 235 |
+
"zab",
|
| 236 |
+
"apr",
|
| 237 |
+
"cbv",
|
| 238 |
+
"meq",
|
| 239 |
+
"tgo",
|
| 240 |
+
"zac",
|
| 241 |
+
"arl",
|
| 242 |
+
"cco",
|
| 243 |
+
"gng",
|
| 244 |
+
"kje",
|
| 245 |
+
"met",
|
| 246 |
+
"nlg",
|
| 247 |
+
"rop",
|
| 248 |
+
"tgp",
|
| 249 |
+
"zad",
|
| 250 |
+
"grc",
|
| 251 |
+
"klv",
|
| 252 |
+
"mgh",
|
| 253 |
+
"nnq",
|
| 254 |
+
"rro",
|
| 255 |
+
"zai",
|
| 256 |
+
"ata",
|
| 257 |
+
"cek",
|
| 258 |
+
"gub",
|
| 259 |
+
"kmu",
|
| 260 |
+
"mib",
|
| 261 |
+
"noa",
|
| 262 |
+
"ruf",
|
| 263 |
+
"tna",
|
| 264 |
+
"zam",
|
| 265 |
+
"atb",
|
| 266 |
+
"cgc",
|
| 267 |
+
"guh",
|
| 268 |
+
"kne",
|
| 269 |
+
"mie",
|
| 270 |
+
"not",
|
| 271 |
+
"rug",
|
| 272 |
+
"tnk",
|
| 273 |
+
"zao",
|
| 274 |
+
"atg",
|
| 275 |
+
"chf",
|
| 276 |
+
"knf",
|
| 277 |
+
"mih",
|
| 278 |
+
"npl",
|
| 279 |
+
"tnn",
|
| 280 |
+
"zar",
|
| 281 |
+
"awb",
|
| 282 |
+
"chz",
|
| 283 |
+
"gum",
|
| 284 |
+
"knj",
|
| 285 |
+
"mil",
|
| 286 |
+
"sab",
|
| 287 |
+
"tnp",
|
| 288 |
+
"zas",
|
| 289 |
+
"cjo",
|
| 290 |
+
"guo",
|
| 291 |
+
"ksr",
|
| 292 |
+
"mio",
|
| 293 |
+
"obo",
|
| 294 |
+
"seh",
|
| 295 |
+
"toc",
|
| 296 |
+
"zav",
|
| 297 |
+
"azg",
|
| 298 |
+
"cle",
|
| 299 |
+
"gux",
|
| 300 |
+
"kue",
|
| 301 |
+
"mit",
|
| 302 |
+
"omw",
|
| 303 |
+
"sey",
|
| 304 |
+
"tos",
|
| 305 |
+
"zaw",
|
| 306 |
+
"azz",
|
| 307 |
+
"cme",
|
| 308 |
+
"gvc",
|
| 309 |
+
"kvn",
|
| 310 |
+
"miz",
|
| 311 |
+
"ood",
|
| 312 |
+
"sgb",
|
| 313 |
+
"tpi",
|
| 314 |
+
"zca",
|
| 315 |
+
"bao",
|
| 316 |
+
"cni",
|
| 317 |
+
"gwi",
|
| 318 |
+
"kwd",
|
| 319 |
+
"mkl",
|
| 320 |
+
"shp",
|
| 321 |
+
"tpt",
|
| 322 |
+
"zga",
|
| 323 |
+
"bba",
|
| 324 |
+
"cnl",
|
| 325 |
+
"gym",
|
| 326 |
+
"kwf",
|
| 327 |
+
"mkn",
|
| 328 |
+
"ote",
|
| 329 |
+
"sja",
|
| 330 |
+
"trc",
|
| 331 |
+
"ziw",
|
| 332 |
+
"bbb",
|
| 333 |
+
"cnt",
|
| 334 |
+
"gyr",
|
| 335 |
+
"kwi",
|
| 336 |
+
"mop",
|
| 337 |
+
"otq",
|
| 338 |
+
"snn",
|
| 339 |
+
"ttc",
|
| 340 |
+
"zlm",
|
| 341 |
+
"cof",
|
| 342 |
+
"hat",
|
| 343 |
+
"kyc",
|
| 344 |
+
"mox",
|
| 345 |
+
"pab",
|
| 346 |
+
"snp",
|
| 347 |
+
"tte",
|
| 348 |
+
"zos",
|
| 349 |
+
"bgt",
|
| 350 |
+
"con",
|
| 351 |
+
"kyf",
|
| 352 |
+
"mpm",
|
| 353 |
+
"pad",
|
| 354 |
+
"tue",
|
| 355 |
+
"zpc",
|
| 356 |
+
"bjr",
|
| 357 |
+
"cot",
|
| 358 |
+
"kyg",
|
| 359 |
+
"mpp",
|
| 360 |
+
"soy",
|
| 361 |
+
"tuf",
|
| 362 |
+
"zpl",
|
| 363 |
+
"bjv",
|
| 364 |
+
"cpa",
|
| 365 |
+
"kyq",
|
| 366 |
+
"mpx",
|
| 367 |
+
"pao",
|
| 368 |
+
"tuo",
|
| 369 |
+
"zpm",
|
| 370 |
+
"bjz",
|
| 371 |
+
"cpb",
|
| 372 |
+
"hlt",
|
| 373 |
+
"kyz",
|
| 374 |
+
"mqb",
|
| 375 |
+
"pib",
|
| 376 |
+
"spp",
|
| 377 |
+
"zpo",
|
| 378 |
+
"bkd",
|
| 379 |
+
"cpu",
|
| 380 |
+
"hns",
|
| 381 |
+
"lac",
|
| 382 |
+
"mqj",
|
| 383 |
+
"pir",
|
| 384 |
+
"spy",
|
| 385 |
+
"txq",
|
| 386 |
+
"zpu",
|
| 387 |
+
"blz",
|
| 388 |
+
"crn",
|
| 389 |
+
"hto",
|
| 390 |
+
"lat",
|
| 391 |
+
"msy",
|
| 392 |
+
"pjt",
|
| 393 |
+
"sri",
|
| 394 |
+
"txu",
|
| 395 |
+
"zpz",
|
| 396 |
+
"bmr",
|
| 397 |
+
"cso",
|
| 398 |
+
"hub",
|
| 399 |
+
"lex",
|
| 400 |
+
"mto",
|
| 401 |
+
"pls",
|
| 402 |
+
"srm",
|
| 403 |
+
"udu",
|
| 404 |
+
"ztq",
|
| 405 |
+
"bmu",
|
| 406 |
+
"ctu",
|
| 407 |
+
"lgl",
|
| 408 |
+
"muy",
|
| 409 |
+
"poi",
|
| 410 |
+
"srn",
|
| 411 |
+
"zty",
|
| 412 |
+
"bnp",
|
| 413 |
+
"cuc",
|
| 414 |
+
"lid",
|
| 415 |
+
"mxb",
|
| 416 |
+
"stp",
|
| 417 |
+
"upv",
|
| 418 |
+
"zyp",
|
| 419 |
+
"boa",
|
| 420 |
+
"cui",
|
| 421 |
+
"huu",
|
| 422 |
+
"mxq",
|
| 423 |
+
"sus",
|
| 424 |
+
"ura",
|
| 425 |
+
"boj",
|
| 426 |
+
"cuk",
|
| 427 |
+
"huv",
|
| 428 |
+
"llg",
|
| 429 |
+
"mxt",
|
| 430 |
+
"poy",
|
| 431 |
+
"suz",
|
| 432 |
+
"urb",
|
| 433 |
+
"box",
|
| 434 |
+
"cwe",
|
| 435 |
+
"hvn",
|
| 436 |
+
"prf",
|
| 437 |
+
"urt",
|
| 438 |
+
"bpr",
|
| 439 |
+
"cya",
|
| 440 |
+
"ign",
|
| 441 |
+
"lww",
|
| 442 |
+
"myk",
|
| 443 |
+
"ptu",
|
| 444 |
+
"usp",
|
| 445 |
+
"bps",
|
| 446 |
+
"daa",
|
| 447 |
+
"ikk",
|
| 448 |
+
"maj",
|
| 449 |
+
"myy",
|
| 450 |
+
"vid",
|
| 451 |
+
"bqc",
|
| 452 |
+
"dah",
|
| 453 |
+
"nab",
|
| 454 |
+
"qub",
|
| 455 |
+
"tac",
|
| 456 |
+
"bqp",
|
| 457 |
+
"ded",
|
| 458 |
+
"imo",
|
| 459 |
+
"maq",
|
| 460 |
+
"nas",
|
| 461 |
+
"quf",
|
| 462 |
+
"taj",
|
| 463 |
+
"vmy"
|
| 464 |
+
]
|