Update README.md
Browse files
README.md
CHANGED
@@ -43,3 +43,17 @@ typical_p: 1.0<br>
|
|
43 |
|
44 |
Модель с удовольствием может "в мультичар", количество собеседников может быть более двух.
|
45 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
43 |
|
44 |
Модель с удовольствием может "в мультичар", количество собеседников может быть более двух.
|
45 |
|
46 |
+
|
47 |
+
|
48 |
+
## Для пользователей text-generation-webui
|
49 |
+
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
|
50 |
+
Ошибка такая:<br>
|
51 |
+
>eos_token_id = eos_token_id[0]
|
52 |
+
>IndexError: list index out of range
|
53 |
+
|
54 |
+
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
|
55 |
+
<code>tokenizer.eos_token_id = 2</code><br>
|
56 |
+
перед<br>
|
57 |
+
<code>return tokenizer</code>
|
58 |
+
|
59 |
+
|