RefalMachine
commited on
Commit
•
bd3c5b9
1
Parent(s):
25cc89a
Update README.md
Browse files
README.md
CHANGED
@@ -14,7 +14,7 @@ WORK IN PROGRESS!!!
|
|
14 |
|
15 |
Инструктивная версия адаптированной на русский язык модели Qwen2.5-32B. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation, paper will be soon).
|
16 |
|
17 |
-
Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen-2.5-
|
18 |
|
19 |
*Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.
|
20 |
|
|
|
14 |
|
15 |
Инструктивная версия адаптированной на русский язык модели Qwen2.5-32B. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation, paper will be soon).
|
16 |
|
17 |
+
Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen-2.5-32B-Instruct.
|
18 |
|
19 |
*Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.
|
20 |
|