File size: 1,278 Bytes
eb16df5 a0ecdd1 eb16df5 6a08323 eb16df5 6a08323 eb16df5 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 |
---
tags:
- model_hub_mixin
- pytorch_model_hub_mixin
datasets:
- IgorVolochay/russian_jokes
language:
- ru
- en
pipeline_tag: text2text-generation
---
# [Легковесный трансформер для генерации текста с ALiBi, GQA и SwiGLU.]
## 📖 Описание
Данная модель представляет собой трансформерную архитектуру, оптимизированную для работы с короткими текстами. Она использует:
- **ALiBi** для позиционного кодирования
- **GQA** для эффективного механизма внимания
- **SwiGLU** в Feed-Forward блоке для лучшей обработки информации
Модель обучена на [IgorVolochay/russian_jokes] и предназначена для генерации осмысленного текста в пределах контекста **≤250 токенов**.
---
This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration:
- Library: [More Information Needed]
- Docs: [More Information Needed] |