---
tags:
- model_hub_mixin
- pytorch_model_hub_mixin
datasets:
- IgorVolochay/russian_jokes
language:
- ru
pipeline_tag: text2text-generation
---

## Description:

Language model, based on Transformer architecture, trained to generate various russian jokes, using russian_jokes dataset.

Loss on validation: 2.488

[Experiments](https://wandb.ai/team-tryhard/LM-hw1?nw=nwuseriuriipustovalov)

## Architecture details:

* Multi-Head Latent Attention layer, as in DeepSeekV3 with latent dimension equal to 96
* SwiGLU activation in the FeedForward layer of the Transformer Block
* Decoupled Rotary Positional Embeddings, as in DeepSeekV3


## Generation examples:

* Заходит в бар -> Заходит в бар мужик и видит, что у него барин за рюмкой. Официант ему и говорит:- Мужики, вы, мужик, батюшки, исполнилось несколько слов, не волнуйтесь. Моя теща говорит врачу:- Доктор, да вы не болит.
* Заходит в бар -> Заходит в бар русский, подходит к бармену и видит: у кого-то среди клоунов сидят 3 еврея в небе и читают: "Давай 50 грамм и играть с косой, и зачем теперь это все 98%"


Version without MHLA is available at commit 076a6c7. It has a slightly smaller loss, but 10% more parameters.