File size: 244 Bytes
5d3c7b0
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
    "token_to_id": {
        "<|pad|>": 0,
        "<|unk|>": 1,
        "<|start|>": 2,
        "<|end|>": 3
    },
    "id_to_token": {
        "0": "<|pad|>",
        "1": "<|unk|>",
        "2": "<|start|>",
        "3": "<|end|>"
    }
}