h2 / special_tokens_map.json
dvitel's picture
Training in progress, step 1600
43bce61
{
"additional_special_tokens": [
"[CLSN]",
"[INIT]",
"[NOARG]",
"[v157]",
"[v132]",
"[v147]",
"[v45]",
"[v129]",
"[CLS1]",
"[v24]",
"[v7]",
"[v19]",
"[CLS0]",
"[v145]",
"[v22]",
"[v50]",
"[v66]",
"[v68]",
"[v125]",
"[v43]",
"[v118]",
"[v65]",
"[v10]",
"[v34]",
"[v137]",
"[v112]",
"[v114]",
"[v3]",
"[v136]",
"[v53]",
"[v93]",
"[v81]",
"[v149]",
"[v110]",
"[v25]",
"[v72]",
"[v74]",
"[v159]",
"[v91]",
"[v37]",
"[v106]",
"[v41]",
"[v113]",
"[v115]",
"[v104]",
"[v2]",
"[v51]",
"[v5]",
"[v117]",
"[v120]",
"[v46]",
"[v152]",
"[v103]",
"[v107]",
"[v20]",
"[v40]",
"[v47]",
"[v8]",
"[v88]",
"[v95]",
"[v4]",
"[v60]",
"[v6]",
"[v26]",
"[v150]",
"[v131]",
"[v80]",
"[v49]",
"[v139]",
"[v67]",
"[v99]",
"[v124]",
"[v27]",
"[v36]",
"[v62]",
"[v84]",
"[v64]",
"[v16]",
"[v70]",
"[v13]",
"[v63]",
"[v109]",
"[v146]",
"[v92]",
"[v54]",
"[v11]",
"[v31]",
"[v39]",
"[v73]",
"[v156]",
"[v30]",
"[v105]",
"[v35]",
"[v97]",
"[v59]",
"[v130]",
"[v82]",
"[v134]",
"[v123]",
"[v29]",
"[v38]",
"[v42]",
"[v127]",
"[v12]",
"[v23]",
"[v154]",
"[v75]",
"[v83]",
"[v18]",
"[v89]",
"[v56]",
"[v153]",
"[v98]",
"[v111]",
"[v55]",
"[v142]",
"[v17]",
"[v44]",
"[v141]",
"[v121]",
"[CLS2]",
"[v144]",
"[v58]",
"[v15]",
"[v100]",
"[v78]",
"[v119]",
"[v33]",
"[v14]",
"[v69]",
"[v85]",
"[v94]",
"[v101]",
"[v108]",
"[v57]",
"[v52]",
"[v133]",
"[v61]",
"[v126]",
"[v140]",
"[v76]",
"[v79]",
"[v148]",
"[v102]",
"[v21]",
"[v71]",
"[v143]",
"[v151]",
"[v122]",
"[v90]",
"[v138]",
"[v1]",
"[v0]",
"[v48]",
"[v86]",
"[v155]",
"[v87]",
"[v96]",
"[v128]",
"[v158]",
"[v28]",
"[v135]",
"[v77]",
"[v9]",
"[v32]",
"[v116]"
],
"bos_token": "<|endoftext|>",
"eos_token": "<|endoftext|>",
"pad_token": "<|endoftext|>",
"unk_token": "<|endoftext|>"
}