File size: 1,123 Bytes
a7882fb
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
{
  "additional_special_tokens": [
    "[v2]",
    "[CLS2]",
    "[v5]",
    "[v6]",
    "[CLS0]",
    "[v1]",
    "[v0]",
    "[v7]",
    "[v4]",
    "[v3]",
    "[CLS1]",
    "[LST]",
    "[NEND]",
    "[Module]",
    "[ClassDef]",
    "[str]",
    "[Name]",
    "[Load]",
    "[FunctionDef]",
    "[arguments]",
    "[arg]",
    "[Expr]",
    "[Call]",
    "[Attribute]",
    "[Constant]",
    "[NoneType]",
    "[int]",
    "[keyword]",
    "[Return]",
    "[Assign]",
    "[Store]",
    "[bool]",
    "[List]",
    "[BoolOp]",
    "[And]",
    "[Compare]",
    "[Lt]",
    "[For]",
    "[Lambda]",
    "[Eq]",
    "[GtE]",
    "[NotEq]",
    "[BinOp]",
    "[Sub]",
    "[Is]",
    "[If]",
    "[Gt]",
    "[LtE]",
    "[IsNot]",
    "[Subscript]",
    "[Index]",
    "[UnaryOp]",
    "[USub]",
    "[AugAssign]",
    "[Add]",
    "[Or]",
    "[ListComp]",
    "[comprehension]",
    "[Slice]",
    "[Break]",
    "[ImportFrom]",
    "[alias]",
    "[In]",
    "[Not]",
    "[Tuple]"
  ],
  "bos_token": "<|endoftext|>",
  "eos_token": "<|endoftext|>",
  "pad_token": "<|endoftext|>",
  "unk_token": "<|endoftext|>"
}