|
--- |
|
library_name: keras-nlp |
|
pipeline_tag: text-generation |
|
datasets: |
|
- Kemsekov/Corrupted-russian-word-documents-text-dataset |
|
--- |
|
|
|
This is text-generation instruct finetuned text-recovery LLM. |
|
|
|
This model is finetuned from base model, so you need to manually ask it generate response from template. |
|
|
|
It was trained on pairs like this: |
|
|
|
``` |
|
[{'role': 'system', 'content': 'Исправляй ошибки в тексте после ‘%% grammar_fix’. Пиши в ответ исправленный текст. Для таблиц исправляй ошибки после ‘%% grammar_fix_table’. Ответ таблицы должен быть в формате markdown.'}, {'role': 'user', 'content': '%% grammar_fix\\nб) ввоеннослужащие, в тооц чиссле уволнные ,в запас (отставку), лица рядового и наЛальствуующего сосава органов внутрренвх дел и оранов государственнойбИзопасности, проходившие в перод Великой Отечественно войны службу в городах, участие в оброЪе котрщх засчитвается ввыслугу лет для назначения пений на льготных слоРиях, устновленных длд военнРслужащих ввоинских часей действующе армии;\\n'}, {'role': 'assistent', 'content': 'б) военнослужащие, в том числе уволенные в запас (отставку), лица рядового и начальствующего состава органов внутренних дел и органов государственной безопасности, проходившие в период Великой Отечественной войны службу в городах, участие в обороне которых засчитывается в выслугу лет для назначения пенсий на льготных условиях, установленных для военнослужащих воинских частей действующей армии;\\n'}] |
|
``` |
|
|
|
So if you need to recover corrupted text `TEXT` ask model to generate response from following template: |
|
``` |
|
[{'role': 'user', 'content': '%% grammar_fix\\n TEXT'}, {'role': 'assistent', 'content': |
|
``` |
|
Yes, you don't need to specify `system` prompt, but you can if you need. |
|
|
|
|
|
This is a [`Gemma` model](https://keras.io/api/keras_nlp/models/gemma) uploaded using the KerasNLP library and can be used with JAX, TensorFlow, and PyTorch backends. |
|
This model is related to a `CausalLM` task. |
|
|
|
Model config: |
|
* **name:** gemma_backbone |
|
* **trainable:** True |
|
* **vocabulary_size:** 256000 |
|
* **num_layers:** 42 |
|
* **num_query_heads:** 16 |
|
* **num_key_value_heads:** 8 |
|
* **hidden_dim:** 3584 |
|
* **intermediate_dim:** 28672 |
|
* **head_dim:** 256 |
|
* **layer_norm_epsilon:** 1e-06 |
|
* **dropout:** 0 |
|
* **query_head_dim_normalize:** True |
|
* **use_post_ffw_norm:** True |
|
* **use_post_attention_norm:** True |
|
* **final_logit_soft_cap:** 30 |
|
* **attention_logit_soft_cap:** 50 |
|
* **sliding_window_size:** 4096 |
|
* **use_sliding_window_attention:** True |
|
|
|
This model card has been generated automatically and should be completed by the model author. See [Model Cards documentation](https://huggingface.co/docs/hub/model-cards) for more information. |
