Upload tokenizer

merges.txt

@@ -308,7 +308,6 @@ tr ing
 o k
 _ _
 c l
-# #
 Ġh e
 ar d
 ) .
@@ -563,7 +562,6 @@ i eld
 Ġp er
 C ont
 ing s
-## ##
 Ġd ata
 Ġs a
 e f
@@ -810,7 +808,6 @@ R es
 is e
 m in
 ĠĠĠĠ Ċ
-# include
 eth od
 . P
 ut e
@@ -1100,7 +1097,6 @@ pr int
 Ex ception
 in put
 Ġtr ans
-#### ####
 ord er
 B y
 Ġa w
@@ -1184,7 +1180,6 @@ if y
 Ġb reak
 Ġ );Ċ
 re n
-# define
 it t
 Ġa p
 ĉ c
@@ -2174,7 +2169,6 @@ s ource
 http s
 Ġd em
 Ġe ar
-######## ########
 Ġm atch
 or ies
 ac es
@@ -2396,7 +2390,6 @@ a ff
 ER R
 Ġ< =
 at ely
-# if
 u ction
 ĠT e
 Ġl ink
@@ -2406,7 +2399,6 @@ u ction
 m e
 Ġg iven
 O ut
-# endif
 Ġbet ter
 P age
 Ġfe el
@@ -4699,7 +4691,6 @@ c ard
 o ch
 _ image
 \ t
-# Ċ
 ( L
 Ġindu stry
 com ing
@@ -4769,7 +4760,6 @@ SS ION
 Ġcurrent ly
 se c
 Ġrelations hip
-################ ################
 ĠM ap
 as et
 Ġparam eters
@@ -5271,7 +5261,6 @@ l at
 ast e
 Ġpro file
 Ġread y
-#if ndef
 ro te
 Ġs ense
 G ener
@@ -5496,7 +5485,6 @@ ag ram
 Ġp en
 .b tn
 ĠA S
-#if def
 Ġcho ice
 ĠP age
 _P RO
@@ -5656,7 +5644,6 @@ b uf
 S cript
 d at
 Ġr ule
-# import
 =" /
 S erial
 Ġstart ing
@@ -6233,7 +6220,6 @@ C D
 ib ly
 .e quals
 Ġintern ational
-# pragma
 oo th
 W riter
 i ate
@@ -7753,7 +7739,6 @@ D on
 ĠH ot
 ĠInd ex
 ; &
-# !
 ĠN or
 ĠC ap
 - (
@@ -7908,7 +7893,6 @@ ant ic
 ĠApp le
 g in
 Re quired
-# +
 land s
 Ġs qu
 Ġfact or
@@ -8444,7 +8428,6 @@ C OM
 i ro
 Ġrem ote
 ĠI T
-#! /
 Ġred istrib
 ra z
 ĠS ince
@@ -9682,7 +9665,6 @@ ont o
 ĠJ ournal
 r outer
 Ġmys qli
-# else
 ) "
 -x s
 let s
@@ -11771,7 +11753,6 @@ R et
 -d anger
 Ġroom s
 con v
-# {
 . op
 ĠA rea
 _S C
@@ -12810,7 +12791,6 @@ Th ank
 Ġfact s
 Ġun t
 .in stance
-################################ ################################
 - end
 ĠJO IN
 ĠH en
@@ -13096,7 +13076,6 @@ id os
 ĠJew ish
 Ġre covery
 Ġstand s
-# [
 Ġafter noon
 ĠArt icle
 _ att
@@ -13632,7 +13611,6 @@ un ge
 err a
 Ċ ĠĠĊ
 utor ial
-# a
 p ay
 char ge
 ĠI re
@@ -14117,7 +14095,6 @@ im plementation
 Ġstre ets
 _M SG
 New s
-## #
 : /
 Ġcut ting
 x B
@@ -15933,7 +15910,6 @@ param eter
 gener ated
 Ġad mitted
 Ġp ussy
-# w
 Ġsw im
 un ion
 N a
@@ -15985,7 +15961,6 @@ _ div
 vel y
 } );čĊ
 _ ENT
-#+ #+
 art icles
 ĠSou thern
 Ġstrong er
@@ -17198,7 +17173,6 @@ _f ont
 Ġcharacter istics
 D one
 el n
-######## ####
 PO S
 Ġd ensity
 ĠPl atform
@@ -18203,7 +18177,6 @@ W T
 d og
 Ġclick ing
 ), ĊĊ
-# line
 Oper ator
 Ġc iv
 Ġm erg
@@ -19615,7 +19588,6 @@ _th eme
 Ġdemonstr ate
 ĠHow ard
 D rop
-# undef
 Ġinv oke
 ĠB ridge
 end en
@@ -22357,7 +22329,6 @@ L F
 ĠP ub
 Ġâ Ķ
 c ion
-## Ċ
 II I
 Tag Name
 Ġam id
@@ -23407,7 +23378,6 @@ w ers
 .m aterial
 ĠD ue
 ĠP el
-# print
 Ġindepend ence
 ex us
 Sh adow
@@ -26230,7 +26200,6 @@ p icture
 ĠFant asy
 st ory
 Ġm ême
-# ĊĊ
 _s lice
 olt age
 H ar
@@ -26583,7 +26552,6 @@ j query
 am ination
 [ @"
 Ġm uj
-## #Ċ
 First OrDefault
 then Return
 C he
@@ -26755,7 +26723,6 @@ enc oder
 ather ine
 ( dest
 az ed
-# endregion
 sem bl
 , M
 ob y
@@ -28592,7 +28559,6 @@ _S M
 ib o
 Ġlo yal
 Ġuse less
-# elif
 ĠUlt imate
 C ome
 g el
@@ -28800,7 +28766,6 @@ as il
 ation ally
 ĠMe eting
 è¯ ¯
-# region
 Ġrout ing
 .f ocus
 ĠYou th
@@ -29597,7 +29562,6 @@ index Of
 .prot ocol
 AF E
 Ġtext ures
-################################ ################
 umb ai
 .st ats
 ĠG E
@@ -31784,7 +31748,6 @@ k now
 .F ull
 . undefined
 ĠSequ elize
-################################################################ ############
 Ġeduc ated
 _O VER
 åº ı
@@ -33396,7 +33359,6 @@ M id
 dd s
 Ġdepos its
 ĉd river
-# ga
 pr ising
 print ln
 Ġpres enter
@@ -40229,7 +40191,6 @@ M ade
 ac ific
 .v olume
 Ġmir rors
-################################################################ ################
 Ġviol ate
 ars ers
 Ġsoc io
@@ -41087,7 +41048,6 @@ _N ode
 ar de
 Ġfier ce
 lic ted
-# čĊ
 Ġbreak through
 ĠE rik
 Ġb ride
@@ -43830,7 +43790,6 @@ _ Log
 rown ed
 _m ed
 ĉ date
-# __
 Ġcost umes
 ĠRe quires
 aff le
@@ -45895,7 +45854,6 @@ Progress HUD
 Ġmock ed
 ĠT ory
 Ġ") ";Ċ
-# g
 Ġli ed
 Ġs vc
 _g ui
@@ -47820,12 +47778,10 @@ Num ero
 d aily
 ĠC oding
 ( destination
-# $
 uj Äħ
 Ġemerg ence
 _p ara
 _IN CLUDE
-# :
 Ġrecogn izing
 Ġf ug
 "} },Ċ
@@ -48241,7 +48197,6 @@ b stract
 k p
 IT ES
 Ġ ################################################################
-# get
 / Desktop
 ĉgl m
 Ġz inc
@@ -50267,7 +50222,6 @@ _L AYER
 Ġdee pest
 w k
 ĠNo ise
-### ĊĊ
 Ġpr éc
 ot le
 ÑĤ е
@@ -52067,7 +52021,6 @@ C OR
 -effect ive
 Ġsk u
 ed ly
-## ĊĊ
 ĠH olly
 ĠFL ASH
 / TR
@@ -55286,7 +55239,6 @@ keep ers
 _s b
 om ens
 ĠExec utes
-# "
 TT Y
 ĠValue Type
 ); */Ċ
@@ -55686,7 +55638,6 @@ S cores
 E OS
 H al
 Ġtrust worthy
-# =
 .EX TRA
 Ġman o
 is icing
@@ -60521,7 +60472,6 @@ m om
 / place
 Ġhol istic
 : t
-# ,
 Ġb oto
 Ġnause a
 ĠSh ooting
@@ -60658,7 +60608,6 @@ IM ATION
 C ause
 at ypes
 man ufacturer
-# ----------------------------------------------------------------------------
 Ġsp or
 es on
 Ġpun ched
@@ -62268,7 +62217,6 @@ Set Branch
 S creenshot
 esthes ia
 Ġwalk er
-# from
 co ordinate
 _ interest
 Ġhelp less
@@ -63479,7 +63427,6 @@ Count s
 Field Type
 ok able
 ĠRT L
-# index
 Ġ% {
 Ġar ist
 .Get Mapping
@@ -65802,7 +65749,6 @@ tr uncate
 so on
 Ġdis fr
 ĉ Vec
-## _
 .s chool
 Ġbl inds
 Ġac ab
@@ -67074,7 +67020,6 @@ _IO CTL
 ĉex ec
 EN AME
 _ letters
-#### #
 ĠC s
 '] =="
 Ġ" ')
@@ -67276,7 +67221,6 @@ _ asm
 Ġtem pl
 ĠExp ense
 e ight
-# SBATCH
 z ones
 .p arts
 at rice
@@ -67611,7 +67555,6 @@ ra i
 i ard
 Theme Provider
 Ġevent Data
-# ad
 .get Url
 Ġtool box
 Ġover riding
@@ -68456,7 +68399,6 @@ _PRE SENT
 ĠTh eta
 _inter p
 R aster
-# error
 , obj
 Ġtweet ing
 _G PU
@@ -68804,7 +68746,6 @@ imm une
 Ġè¾ĵ åħ¥
 Ġintimid ation
 end ale
-################################################################ ########
 Ġinsight ful
 Ġs ands
 Ġphotograph ic
@@ -69210,7 +69151,6 @@ sh ed
 Dep loy
 .Con tract
 - bo
-# /
 Ġinter ception
 Ġis bn
 Ġman ners
@@ -69693,7 +69633,6 @@ PO CH
 \ \"
 - job
 Ġsevent y
-#### Ċ
 ĠMan or
 Ġdown right
 Ġtime frame
@@ -71499,7 +71438,6 @@ _BR ANCH
 /m essages
 Ġof Type
 ĉs wap
-# plt
 ĠTur ks
 N ES
 Ġprogress ively
@@ -71747,7 +71685,6 @@ L ik
 _T itle
 (G tk
 Ġc elle
-# ================================================================
 ĠJ oomla
 "> //
 Month ly
@@ -75253,7 +75190,6 @@ s olver
 ĠRevel ation
 Ġrap ide
 p unk
-# ----------------------------------------------------------------
 Object Id
 abin et
 extr acomment
@@ -75658,7 +75594,6 @@ h ari
 (c d
 Ġun zip
 Ġglam orous
-# ",
 Ġn aw
 Ġmin ib
 ĠBr an
@@ -75941,7 +75876,6 @@ Button Type
 Ġragaz za
 / tag
 Ġirres ist
-# End
 ****** *čĊ
 Ġrestr ained
 Ġch iropr
@@ -76079,7 +76013,6 @@ cast ing
 Ġgr âce
 ĠH elsinki
 G ro
-# af
 ìĭ Ŀ
 Ġsou ha
 ĠInd ie
@@ -76872,7 +76805,6 @@ x EE
 .M ESSAGE
 (de g
 å¿ Ĺ
-#### ##
 Ġ"" ),
 kl är
 \M ail
@@ -77087,7 +77019,6 @@ ren s
 / grid
 Ġfil thy
 .e v
-#### #Ċ
 Ġs are
 Ġso aking
 ĠReg ions
@@ -77328,7 +77259,6 @@ IFICATION S
 ` ;
 ãĥ ĭ
 cent e
-# ab
 Ġlex ical
 ĠB RO
 Ġr ulings
@@ -77437,7 +77367,6 @@ U PI
 ĉ props
 Ġrot ten
 Re jected
-# ac
 . ua
 ĠAm nesty
 Ġpenn ed
@@ -77780,7 +77709,6 @@ d pi
 cul os
 _person al
 Ġanaly tic
-# create
 _mem cpy
 (List Node
 _T ag
@@ -78698,7 +78626,6 @@ b anks
 ìŀħ ëĭĪëĭ¤
 Ġsid eline
 .Array Adapter
-#### ##Ċ
 ĠSy rians
 ĠAtt endance
 -es que
@@ -79191,7 +79118,6 @@ Image Url
 ALL ERY
 c j
 x AD
-############################################################################ ###Ċ
 Ġitalian i
 | #
 Ġreg enerate
@@ -80160,7 +80086,6 @@ op he
 _C ategory
 ĠBT N
 ĠDar th
-# for
 eth nic
 arch itecture
 ĠCou pe
@@ -81235,7 +81160,6 @@ _TRA IN
 Ġcooper ating
 ung i
 Ar izona
-# echo
 -ex pression
 .min utes
 Ġpref ixed
@@ -81767,7 +81691,6 @@ customer Id
 ĠMom ents
 enu ous
 IFIC ATE
-#### ###Ċ
 æĸĩ ç«ł
 á»į c
 orm sg
@@ -81815,7 +81738,6 @@ Environment al
 ĠIS IL
 Ġco op
 h ores
-# @
 Ġcomp el
 (s kip
 éĺ ³
@@ -82040,7 +81962,6 @@ ia ux
 Ġ-*- čĊ
 if es
 ĠM ansion
-# Region
 C ancellation
 Ġnear ing
 Ġl angu
@@ -82321,7 +82242,6 @@ M ismatch
 Ġw reak
 Mar vel
 /s l
-################################ ########
 Ġmov able
 Ñĥ й
 ĠDr inking
@@ -83897,7 +83817,6 @@ M iami
 ĠPal o
 ĠSuz anne
 _m appings
-#{ @
 ĠOccup ational
 _b uckets
 go als
@@ -84042,7 +83961,6 @@ so v
 -w atch
 ĠHosp itals
 } while
-################ ########
 á» £
 Ġakt ual
 Ġkil ograms
@@ -84164,7 +84082,6 @@ CH AN
 Ġcurrent Position
 ĠCaucas ian
 $ img
-# aa
 Ġse an
 M ess
 *= *=
@@ -85109,7 +85026,6 @@ py x
 ĠR udd
 ĠPres byterian
 und ler
-#! [
 _l ahir
 () =="
 Access ibility
@@ -87589,7 +87505,6 @@ C ouncil
 _AT OMIC
 Sub Menu
 _com press
-# .
 Dr v
 .push Button
 Ġsuit case
@@ -87648,7 +87563,6 @@ ch ine
 Ġe books
 ) size
 Ġspecial ised
-# ae
 Ġmich ael
 ĠSTD OUT
 ĠP ell
@@ -87827,7 +87741,6 @@ t ournament
 ĠEisen hower
 File d
 Ġhe bt
-# \
 create QueryBuilder
 æľī æķĪ
 v anced
@@ -87843,7 +87756,6 @@ Inst aller
 ol vable
 Ġal as
 (sp ell
-################ ############
 Ġdef amation
 ( Arg
 Ġuser Details
@@ -89781,7 +89693,6 @@ ict ory
 Ġsup p
 pe on
 v rier
-################################################ ########
 Ġtrot z
 Ġmel tdown
 ark ers
@@ -90473,7 +90384,6 @@ Gr an
 ser ter
 Ġstore front
 _ ends
-################################################################################ Ċ
 ĉg it
 D SP
 CH AIN
@@ -91996,7 +91906,6 @@ arg ed
 ĠST ILL
 Qualified Name
 . RES
-# c
 .w riteln
 ĠImmutable List
 ĠTh umb
@@ -92978,7 +92887,6 @@ Sc ala
 in ne
 ĠCONST ANTS
 _P rice
-# %%
 Ġar sch
 ĠNS AttributedString
 ĠFile Type
@@ -93925,7 +93833,6 @@ _TRI ANGLE
 _P ICTURE
 _OR IENTATION
 ĠO PP
-# '
 áf ico
 .h istogram
 ĠB enny
@@ -94196,7 +94103,6 @@ Owner Id
 ew n
 Ġpop ulous
 ĠSh ed
-# ${
 ĠA lo
 Device Info
 (IN VOKE
@@ -97587,7 +97493,6 @@ F el
 ĠD ISTRIBUT
 é ments
 ĠValid ates
-################################################ ############
 Ġ| /
 Ġes l
 Ġré seau
@@ -97607,7 +97512,6 @@ Ne o
 ime i
 .get Bounds
 .Mouse EventHandler
-#### ###
 Generic Type
 /c ms
 Ġturn o

special_tokens_map.json

@@ -1,7 +1,14 @@
 {
   "additional_special_tokens": [
     "<|im_start|>",
-    "<|im_end|>"
+    "<|im_end|>",
+    {
+      "content": "<image>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false
+    }
   ],
   "eos_token": {
     "content": "<|im_end|>",

tokenizer_config.json

@@ -36,7 +36,8 @@
   },
   "additional_special_tokens": [
     "<|im_start|>",
-    "<|im_end|>"
+    "<|im_end|>",
+    "<image>"
   ],
   "bos_token": null,
   "chat_template": "{% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n' }}{% endif %}{{'<|im_start|>' + message['role'] + '\n' + message['content'] + '<|im_end|>' + '\n'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant\n' }}{% endif %}",