README.md

---
datasets:
- Akajackson/donut_synthdog_rus
language:
- ru
- en
---
## Описание модели
Модель Donut (end-to-end transformer) для распознавания текстов на русском языке.  
https://github.com/clovaai/donut  

Для обучения сгенерирован датасет SynthDoG из 100тыс изображений, с текстами, взятыми из произведений русской литературы.  
https://huggingface.co/datasets/Akajackson/donut_synthdog_rus  

Модель обучена на ноутбуке от уважаемого NielsRogge с заменой оригинального токенайзера на DeepPavlov/xlm-roberta-large-en-ru на площадке Kaggle.   
https://github.com/NielsRogge/Transformers-Tutorials/blob/master/Donut/CORD/Fine_tune_Donut_on_a_custom_dataset_(CORD)_with_PyTorch_Lightning.ipynb  

Метрика на валидации Normed ED: 0.04597701149425287.  

## Возможности модели
Данная модель является базовой для следующих задач:
* распознавание различных типов документов;
* ответы на вопросы по документу;
* классификация документов.

Для решения Вашей задачи возможно использовать выше упомянутые ноутбуки.  
Датасет необходимо разметить в формате, который указан в репозитории Donut.