Update README.md
Browse files
README.md
CHANGED
|
@@ -19,6 +19,19 @@ widget:
|
|
| 19 |
Генерация текстов по вселенной Warhammer40k на русском языке. Датасет ~1.2 Гб текстов по вселенной.
|
| 20 |
|
| 21 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 22 |
>И в этот миг я увидел, как из темноты появилась фигура человека с мечом и щитом. Он был облачен в черное одеяние, а на его лице красовалась маска смерти. Я узнал его — это был тот самый воин-призрак, который спас меня от огня варпа. Его лицо было скрыто под капюшоном, но я мог разглядеть черты воина: он носил маску, которая была похожа на черепную коробку.
|
| 23 |
>
|
| 24 |
>— Ты опоздал, брат мой, — произнес призрак голосом, похожим на скрежет металла по стеклу. — Ты не должен был приходить сюда.
|
|
|
|
| 19 |
Генерация текстов по вселенной Warhammer40k на русском языке. Датасет ~1.2 Гб текстов по вселенной.
|
| 20 |
|
| 21 |
|
| 22 |
+
## Для пользователей text-generation-webui
|
| 23 |
+
В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
|
| 24 |
+
Ошибка такая:<br>
|
| 25 |
+
>eos_token_id = eos_token_id[0]
|
| 26 |
+
>IndexError: list index out of range
|
| 27 |
+
|
| 28 |
+
Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
|
| 29 |
+
<code>tokenizer.eos_token_id = 2</code><br>
|
| 30 |
+
перед<br>
|
| 31 |
+
<code>return tokenizer</code>
|
| 32 |
+
|
| 33 |
+
|
| 34 |
+
|
| 35 |
>И в этот миг я увидел, как из темноты появилась фигура человека с мечом и щитом. Он был облачен в черное одеяние, а на его лице красовалась маска смерти. Я узнал его — это был тот самый воин-призрак, который спас меня от огня варпа. Его лицо было скрыто под капюшоном, но я мог разглядеть черты воина: он носил маску, которая была похожа на черепную коробку.
|
| 36 |
>
|
| 37 |
>— Ты опоздал, брат мой, — произнес призрак голосом, похожим на скрежет металла по стеклу. — Ты не должен был приходить сюда.
|