--- license: apache-2.0 language: - ru library_name: transformers pipeline_tag: text-generation tags: - russian - cosmos - astrophysics --- Модель для генерации текстов по космосу, астрофизике, космонавтике ## Для пользователей text-generation-webui В инструменте поломана работа с GPT-2, GPTJ, GPT-NEO и аналогичными модлями, неверно загружается токенизер. Ошибка такая:
>eos_token_id = eos_token_id[0] >IndexError: list index out of range Исправляется легко, в файл modules/models.py в функцию load_tokenizer() надо добавить строчку
tokenizer.eos_token_id = 2
перед
return tokenizer