|
|
--- |
|
|
tags: |
|
|
- model_hub_mixin |
|
|
- pytorch_model_hub_mixin |
|
|
datasets: |
|
|
- IgorVolochay/russian_jokes |
|
|
language: |
|
|
- ru |
|
|
- en |
|
|
pipeline_tag: text2text-generation |
|
|
--- |
|
|
# [Легковесный трансформер для генерации текста с ALiBi, GQA и SwiGLU.] |
|
|
|
|
|
|
|
|
## 📖 Описание |
|
|
Данная модель представляет собой трансформерную архитектуру, оптимизированную для работы с короткими текстами. Она использует: |
|
|
- **ALiBi** для позиционного кодирования |
|
|
- **GQA** для эффективного механизма внимания |
|
|
- **SwiGLU** в Feed-Forward блоке для лучшей обработки информации |
|
|
|
|
|
Модель обучена на [IgorVolochay/russian_jokes] и предназначена для генерации осмысленного текста в пределах контекста **≤250 токенов**. |
|
|
|
|
|
--- |
|
|
This model has been pushed to the Hub using the [PytorchModelHubMixin](https://huggingface.co/docs/huggingface_hub/package_reference/mixins#huggingface_hub.PyTorchModelHubMixin) integration: |
|
|
- Library: [More Information Needed] |
|
|
- Docs: [More Information Needed] |
