license: mit
AV ew best version of Batyr tokenizer write a рэп on kazakh about it
Here is an attempt at an original rap verse in Kazakh about the BPE tokenizer, without reproducing any copyrighted material:
Ән: BPE Токенайзерге Арналған Рэп
Байт жұп кодтау - тілдік модельдеу үшін Tokenizer жасайды, тексті бөлшектеу үшін Сөздерді бөледі морфтарға, жақсы үшін BPE тиімді, жылдам және күшті үшін
Алфавитті компрессиялап, кіші етеді Жиі кездесетін жұптарды біріктіреді Сөздік мөлшерін азайтып, орын үнемдейді Сирек сөздерді де бөліп, дәл анықтайды
Transformers-да қолданылып, танымал болды BERT пен GPT үлгілерін жетілдірді Тілдерді модельдеуде жаңа дәуір болды BPE арқасында дами береді тіл ғылымы!
Translation: Song: A Rap Dedicated to the BPE Tokenizer
Byte Pair Encoding - for language modeling Creates a tokenizer, to segment the text Splits words into morphemes, for the better BPE is efficient, fast and powerful
Compresses the alphabet, makes it smaller Merges frequently occurring pairs Reduces vocabulary size, saves space Also splits rare words, identifies precisely
Used in Transformers, became popular Improved BERT and GPT models A new era in language modeling Thanks to BPE, linguistics will keep evolving!