RefalMachine commited on
Commit
0e037a8
1 Parent(s): 1dc8b28

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +0 -36
README.md CHANGED
@@ -24,42 +24,6 @@ GGUF версия!! Инструктивная версия адаптирова
24
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png)
25
 
26
 
27
- ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png)
28
-
29
- ## Метрики и оценка качества
30
-
31
- Модель была оценена на Ru-Arena-General, MERA, llmtf_open
32
-
33
- #### Результаты на Ru-Arena-General
34
-
35
- Замеры были произведены с использованием оффициального кода лидерборда (https://github.com/VikhrModels/ru_llm_arena), **но с repetition_penalty=1.1**.
36
-
37
- Приведена лишь часть лидерборда, подробнее смотрите в репозитории бенчмарка (https://huggingface.co/spaces/Vikhrmodels/arenahardlb).
38
-
39
- ---
40
- datasets:
41
- - IlyaGusev/saiga_scored
42
- - IlyaGusev/saiga_preferences
43
- - dichspace/darulm
44
- language:
45
- - ru
46
- pipeline_tag: text-generation
47
- ---
48
-
49
- ## Model description
50
-
51
- Инструктивная версия адаптированной на русский язык модели Qwen2.5-7B. В модели был заменен токенизатор, затем произведено дообучение (Continued pretraining) на русскоязычном корпусе, после чего была применена техника LEP (Learned Embedding Propagation, paper will be soon).
52
-
53
- Благодаря новому токенизатору (расширенный tiktoken cl100k с помощью униграм токенизатора на 48 т. токенов) скорость генерации* русскоязычных текстов возрасла до 60% по сравнению с исходной моделью Qwen-2.5-7B-Instruct.
54
-
55
- *Под скоростью генерации подразумевается количество русскоязычных символов/слов в секунду на одинаковых текстовых последовательностях.
56
-
57
- ## Токенизация
58
-
59
-
60
- ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png)
61
-
62
-
63
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png)
64
 
65
  ## Метрики и оценка качества
 
24
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/O4eQEhnowETEatDPcmArB.png)
25
 
26
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
27
  ![image/png](https://cdn-uploads.huggingface.co/production/uploads/652cedbdf120598322ae358a/oW0Q6LzD_Py3GdH0kfqu4.png)
28
 
29
  ## Метрики и оценка качества