zlsl commited on
Commit
ec53bd7
·
1 Parent(s): 6ee6ebd

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -0
README.md CHANGED
@@ -43,3 +43,17 @@ typical_p: 1.0<br>
43
 
44
  Модель с удовольствием может "в мультичар", количество собеседников может быть более двух.
45
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
43
 
44
  Модель с удовольствием может "в мультичар", количество собеседников может быть более двух.
45
 
46
+
47
+
48
+ ## Для пользователей text-generation-webui
49
+ В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер.
50
+ Ошибка такая:<br>
51
+ >eos_token_id = eos_token_id[0]
52
+ >IndexError: list index out of range
53
+
54
+ Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку<br>
55
+ <code>tokenizer.eos_token_id = 2</code><br>
56
+ перед<br>
57
+ <code>return tokenizer</code>
58
+
59
+