Text Generation
KerasNLP
Kemsekov commited on
Commit
ba6e267
1 Parent(s): 2fdc08f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +18 -0
README.md CHANGED
@@ -4,6 +4,24 @@ pipeline_tag: text-generation
4
  datasets:
5
  - Kemsekov/Corrupted-russian-word-documents-text-dataset
6
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
7
  This is a [`Gemma` model](https://keras.io/api/keras_nlp/models/gemma) uploaded using the KerasNLP library and can be used with JAX, TensorFlow, and PyTorch backends.
8
  This model is related to a `CausalLM` task.
9
 
 
4
  datasets:
5
  - Kemsekov/Corrupted-russian-word-documents-text-dataset
6
  ---
7
+
8
+ This is text-generation instruct finetuned text-recovery LLM.
9
+
10
+ This model is finetuned from base model, so you need to manually ask it generate response from template.
11
+
12
+ It was trained on pairs like this:
13
+
14
+ ```
15
+ [{'role': 'system', 'content': 'Исправляй ошибки в тексте после ‘%% grammar_fix’. Пиши в ответ исправленный текст. Для таблиц исправляй ошибки после ‘%% grammar_fix_table’. Ответ таблицы должен быть в формате markdown.'}, {'role': 'user', 'content': '%% grammar_fix\\nб) ввоеннослужащие, в тооц чиссле уволнные ,в запас (отставку), лица рядового и наЛальствуующего сосава органов внутрренвх дел и оранов государственнойбИзопасности, проходившие в перод Великой Отечественно войны службу в городах, участие в оброЪе котрщх засчитвается ввыслугу лет для назначения пений на льготных слоРиях, устновленных длд военнРслужащих ввоинских часей действующе армии;\\n'}, {'role': 'assistent', 'content': 'б) военнослужащие, в том числе уволенные в запас (отставку), лица рядового и начальствующего состава органов внутренних дел и органов государственной безопасности, проходившие в период Великой Отечественной войны службу в городах, участие в обороне которых засчитывается в выслугу лет для назначения пенсий на льготных условиях, установленных для военнослужащих воинских частей действующей армии;\\n'}]
16
+ ```
17
+
18
+ So if you need to recover corrupted text `TEXT` ask model to generate response from following template:
19
+ ```
20
+ [{'role': 'user', 'content': '%% grammar_fix\\n TEXT'}, {'role': 'assistent', 'content':
21
+ ```
22
+ Yes, you don't need to specify `system` prompt, but you can if you need.
23
+
24
+
25
  This is a [`Gemma` model](https://keras.io/api/keras_nlp/models/gemma) uploaded using the KerasNLP library and can be used with JAX, TensorFlow, and PyTorch backends.
26
  This model is related to a `CausalLM` task.
27