README.md

---
library_name: keras-nlp
pipeline_tag: text-generation
datasets:
- Kemsekov/Corrupted-russian-word-documents-text-dataset
---

This is text-generation instruct finetuned text-recovery LLM.

This model is finetuned from base model, so you need to manually ask it generate response from template.

It was trained on pairs like this:

```
[{'role': 'system', 'content': 'Исправляй ошибки в тексте после ‘%% grammar_fix’. Пиши в ответ исправленный текст. Для таблиц исправляй ошибки после ‘%% grammar_fix_table’. Ответ таблицы должен быть в формате markdown.'}, {'role': 'user', 'content': '%% grammar_fix\\nб) ввоеннослужащие, в тооц чиссле уволнные ,в запас (отставку), лица рядового и наЛальствуующего сосава органов внутрренвх дел и оранов государственнойбИзопасности, проходившие в перод Великой Отечественно войны службу в городах, участие в оброЪе котрщх засчитвается  ввыслугу лет для назначения пений на льготных слоРиях, устновленных длд военнРслужащих ввоинских часей действующе армии;\\n'}, {'role': 'assistent', 'content': 'б) военнослужащие, в том числе уволенные в запас (отставку), лица рядового и начальствующего состава органов внутренних дел и органов государственной безопасности, проходившие в период Великой Отечественной войны службу в городах, участие в обороне которых засчитывается в выслугу лет для назначения пенсий на льготных условиях, установленных для военнослужащих воинских частей действующей армии;\\n'}]
```

So if you need to recover corrupted text `TEXT` ask model to generate response from following template:
```
[{'role': 'user', 'content': '%% grammar_fix\\n TEXT'}, {'role': 'assistent', 'content': 
```
Yes, you don't need to specify `system` prompt, but you can if you need.


This is a [`Gemma` model](https://keras.io/api/keras_nlp/models/gemma) uploaded using the KerasNLP library and can be used with JAX, TensorFlow, and PyTorch backends.
This model is related to a `CausalLM` task.

Model config:
* **name:** gemma_backbone
* **trainable:** True
* **vocabulary_size:** 256000
* **num_layers:** 42
* **num_query_heads:** 16
* **num_key_value_heads:** 8
* **hidden_dim:** 3584
* **intermediate_dim:** 28672
* **head_dim:** 256
* **layer_norm_epsilon:** 1e-06
* **dropout:** 0
* **query_head_dim_normalize:** True
* **use_post_ffw_norm:** True
* **use_post_attention_norm:** True
* **final_logit_soft_cap:** 30
* **attention_logit_soft_cap:** 50
* **sliding_window_size:** 4096
* **use_sliding_window_attention:** True

This model card has been generated automatically and should be completed by the model author. See [Model Cards documentation](https://huggingface.co/docs/hub/model-cards) for more information.