{ | |
"additional_special_tokens": [ | |
"[CLS1]", | |
"[v1]", | |
"[v7]", | |
"[CLS0]", | |
"[v6]", | |
"[v3]", | |
"[v4]", | |
"[CLS2]", | |
"[v5]", | |
"[v0]", | |
"[v2]", | |
"[LST]", | |
"[NEND]", | |
"[Module]", | |
"[ClassDef]", | |
"[str]", | |
"[Name]", | |
"[Load]", | |
"[FunctionDef]", | |
"[arguments]", | |
"[arg]", | |
"[Expr]", | |
"[Call]", | |
"[Attribute]", | |
"[Constant]", | |
"[NoneType]", | |
"[int]", | |
"[keyword]", | |
"[Return]", | |
"[Assign]", | |
"[Store]", | |
"[bool]", | |
"[List]", | |
"[BoolOp]", | |
"[And]", | |
"[Compare]", | |
"[Lt]", | |
"[For]", | |
"[Lambda]", | |
"[Eq]", | |
"[GtE]", | |
"[NotEq]", | |
"[BinOp]", | |
"[Sub]", | |
"[Is]", | |
"[If]", | |
"[Gt]", | |
"[LtE]", | |
"[IsNot]", | |
"[Subscript]", | |
"[Index]", | |
"[UnaryOp]", | |
"[USub]", | |
"[AugAssign]", | |
"[Add]", | |
"[Or]", | |
"[ListComp]", | |
"[comprehension]", | |
"[Slice]", | |
"[Break]", | |
"[ImportFrom]", | |
"[alias]", | |
"[In]", | |
"[Not]", | |
"[Tuple]" | |
], | |
"bos_token": "<|endoftext|>", | |
"eos_token": "<|endoftext|>", | |
"pad_token": "<|endoftext|>", | |
"unk_token": "<|endoftext|>" | |
} | |