-1
-1
2
1
1
1
1
1
4
-1
12
0
64
-1
12
-1
64
-1
50257
768
50257
1
50257
768
50257
1
50257
768
50257
1
50257
768
-1
-1
2
-1
-1
50257
768
-1
-1
1024
768
1024
1
1024
768
1024
1
1024
768
1024
1
1024
768
-1
-1
1024
768
-1
-1
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
2
1
1
1
-1
-1
768
2
2304
768
2304
1
2304
768
2304
1
2304
768
2304
1
2304
768
-1
768
2304
768
1
2304
-1
2304
2
1
-1
2304
3
-1
-1
2304
3
-1
-1
768
4
-1
-1
12
64
4
-1
12
0
64
-1
12
-1
64
-1
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
12
0
64
-1
12
-1
64
-1
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
-1
2
-1
-1
-1
1
-1
2
1
-1
-1
2
1
1
1
1
1
-1
1
1
-1
4
-1
1
-1
-1
-1
1
-1
-1
1
1
1
1
1
1
1
1
-1
1
-1
-1
-1
1
-1
-1
-1
1
-1
-1
-1
1
-1
-1
-1
1
-1
-1
-1
12
-1
64
4
1
1
2
-1
-1
1
-1
2
-1
-1
1
1
1
2
-1
-1
-1
-1
-1
-1
-1
-1
-1
-1
1
-1
-1
1
1
1
1
1
1
1
1
-1
-1
4
-1
1
-1
-1
-1
1
-1
-1
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
1
-1
-1
-1
12
-1
64
4
-1
-1
12
64
3
2
1
1
1
-1
-1
768
2
768
768
768
1
768
768
768
1
768
768
768
1
768
768
-1
768
768
768
1
768
-1
768
-1
-1
768
-1
768
3
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
2
1
1
1
-1
-1
768
2
3072
768
3072
1
3072
768
3072
1
3072
768
3072
1
3072
768
-1
768
3072
768
1
3072
-1
3072
2
1
-1
3072
3
-1
-1
3072
2
1
1
1
-1
-1
3072
2
768
3072
768
1
768
3072
768
1
768
3072
768
1
768
3072
-1
3072
768
3072
1
768
-1
768
-1
768
3
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
2
1
1
1
-1
-1
768
2
2304
768
2304
1
2304
768
2304
1
2304
768
2304
1
2304
768
-1
768
2304
768
1
2304
-1
2304
-1
2304
3
-1
-1
2304
3
-1
-1
768
4
-1
-1
12
64
4
-1
12
0
64
-1
12
-1
64
-1
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
12
0
64
-1
12
-1
64
-1
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
1
-1
-1
-1
12
-1
64
4
-1
-1
12
64
3
2
1
1
1
-1
-1
768
2
768
768
768
1
768
768
768
1
768
768
768
1
768
768
-1
768
768
768
1
768
-1
768
-1
768
3
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
2
1
1
1
-1
-1
768
2
3072
768
3072
1
3072
768
3072
1
3072
768
3072
1
3072
768
-1
768
3072
768
1
3072
-1
3072
-1
3072
3
-1
-1
3072
2
1
1
1
-1
-1
3072
2
768
3072
768
1
768
3072
768
1
768
3072
768
1
768
3072
-1
3072
768
3072
1
768
-1
768
-1
768
3
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
2
1
1
1
-1
-1
768
2
2304
768
2304
1
2304
768
2304
1
2304
768
2304
1
2304
768
-1
768
2304
768
1
2304
-1
2304
-1
2304
3
-1
-1
2304
3
-1
-1
768
4
-1
-1
12
64
4
-1
12
0
64
-1
12
-1
64
-1
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
12
0
64
-1
12
-1
64
-1
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
1
-1
-1
-1
12
-1
64
4
-1
-1
12
64
3
2
1
1
1
-1
-1
768
2
768
768
768
1
768
768
768
1
768
768
768
1
768
768
-1
768
768
768
1
768
-1
768
-1
768
3
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
2
1
1
1
-1
-1
768
2
3072
768
3072
1
3072
768
3072
1
3072
768
3072
1
3072
768
-1
768
3072
768
1
3072
-1
3072
-1
3072
3
-1
-1
3072
2
1
1
1
-1
-1
3072
2
768
3072
768
1
768
3072
768
1
768
3072
768
1
768
3072
-1
3072
768
3072
1
768
-1
768
-1
768
3
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
2
1
1
1
-1
-1
768
2
2304
768
2304
1
2304
768
2304
1
2304
768
2304
1
2304
768
-1
768
2304
768
1
2304
-1
2304
-1
2304
3
-1
-1
2304
3
-1
-1
768
4
-1
-1
12
64
4
-1
12
0
64
-1
12
-1
64
-1
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
12
0
64
-1
12
-1
64
-1
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
1
-1
-1
-1
12
-1
64
4
-1
-1
12
64
3
2
1
1
1
-1
-1
768
2
768
768
768
1
768
768
768
1
768
768
768
1
768
768
-1
768
768
768
1
768
-1
768
-1
768
3
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
2
1
1
1
-1
-1
768
2
3072
768
3072
1
3072
768
3072
1
3072
768
3072
1
3072
768
-1
768
3072
768
1
3072
-1
3072
-1
3072
3
-1
-1
3072
2
1
1
1
-1
-1
3072
2
768
3072
768
1
768
3072
768
1
768
3072
768
1
768
3072
-1
3072
768
3072
1
768
-1
768
-1
768
3
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
2
1
1
1
-1
-1
768
2
2304
768
2304
1
2304
768
2304
1
2304
768
2304
1
2304
768
-1
768
2304
768
1
2304
-1
2304
-1
2304
3
-1
-1
2304
3
-1
-1
768
4
-1
-1
12
64
4
-1
12
0
64
-1
12
-1
64
-1
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
12
0
64
-1
12
-1
64
-1
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
1
-1
-1
-1
12
-1
64
4
-1
-1
12
64
3
2
1
1
1
-1
-1
768
2
768
768
768
1
768
768
768
1
768
768
768
1
768
768
-1
768
768
768
1
768
-1
768
-1
768
3
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
2
1
1
1
-1
-1
768
2
3072
768
3072
1
3072
768
3072
1
3072
768
3072
1
3072
768
-1
768
3072
768
1
3072
-1
3072
-1
3072
3
-1
-1
3072
2
1
1
1
-1
-1
3072
2
768
3072
768
1
768
3072
768
1
768
3072
768
1
768
3072
-1
3072
768
3072
1
768
-1
768
-1
768
3
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
2
1
1
1
-1
-1
768
2
2304
768
2304
1
2304
768
2304
1
2304
768
2304
1
2304
768
-1
768
2304
768
1
2304
-1
2304
-1
2304
3
-1
-1
2304
3
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
12
0
64
-1
12
-1
64
-1
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
-1
768
4
-1
-1
12
64
4
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
1
-1
-1
-1
12
-1
64
4
-1
-1
12
64
3
2
1
1
1
-1
-1
768
2
768
768
768
1
768
768
768
1
768
768
768
1
768
768
-1
768
768
768
1
768
-1
768
-1
768
3
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
2
1
1
1
-1
-1
768
2
3072
768
3072
1
3072
768
3072
1
3072
768
3072
1
3072
768
-1
768
3072
768
1
3072
-1
3072
-1
3072
3
-1
-1
3072
2
1
1
1
-1
-1
3072
2
768
3072
768
1
768
3072
768
1
768
3072
768
1
768
3072
-1
3072
768
3072
1
768
-1
768
-1
768
3
-1
-1
768
-1
-1
768
-1
-1
768
1
-1
-1
768
1
1
768
-1
-1
768
1
1
768
-1
-1
768
3
-1
-1
768
50257
768
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
12
-1
64
-1
-1
50257