pipeline/mmocr/README_zh-CN.md

 

OpenMMLab 官网 ^HOT      OpenMMLab 开放平台 ^{TRY IT OUT}

 

📘文档 | 🛠️安装 | 👀模型库 | 🆕更新日志 | 🤔报告问题

English | 简体中文

近期更新

默认分支目前为 main，且分支上的代码已经切换到 v1.0.0 版本。旧版 main 分支（v0.6.3）的代码现存在 0.x 分支上。 如果您一直在使用 main 分支，并遇到升级问题，请阅读 迁移指南 和 分支说明 。

最新的版本 v1.0.0 于 2023-04-06 发布。其相对于 1.0.0rc6 的主要更新如下：

1. Dataset Preparer 中支持了 SCUT-CTW1500, SynthText 和 MJSynth 数据集；
2. 更新了文档和 FAQ；
3. 升级文件后端；使用了 backend_args 替换 file_client_args;
4. 增加了 MMOCR 教程 notebook。

如果需要了解 MMOCR 1.0 相对于 0.x 的升级内容，请阅读 MMOCR 1.x 更新汇总；或者阅读更新日志以获取更多信息。

简介

MMOCR 是基于 PyTorch 和 mmdetection 的开源工具箱，专注于文本检测，文本识别以及相应的下游任务，如关键信息提取。 它是 OpenMMLab 项目的一部分。

主分支目前支持 PyTorch 1.6 以上的版本。

主要特性

-全流程

该工具箱不仅支持文本检测和文本识别，还支持其下游任务，例如关键信息提取。

-多种模型

该工具箱支持用于文本检测，文本识别和关键信息提取的各种最新模型。

-模块化设计

MMOCR 的模块化设计使用户可以定义自己的优化器，数据预处理器，模型组件如主干模块，颈部模块和头部模块，以及损失函数。有关如何构建自定义模型的信息，请参考概览。

-众多实用工具

该工具箱提供了一套全面的实用程序，可以帮助用户评估模型的性能。它包括可对图像，标注的真值以及预测结果进行可视化的可视化工具，以及用于在训练过程中评估模型的验证工具。它还包括数据转换器，演示了如何将用户自建的标注数据转换为 MMOCR 支持的标注文件。

安装

MMOCR 依赖 PyTorch, MMEngine, MMCV 和 MMDetection，以下是安装的简要步骤。 更详细的安装指南请参考 安装文档。

conda create -n open-mmlab python=3.8 pytorch=1.10 cudatoolkit=11.3 torchvision -c pytorch -y
conda activate open-mmlab
pip3 install openmim
git clone https://github.com/open-mmlab/mmocr.git
cd mmocr
mim install -e .

快速入门

请参考快速入门文档学习 MMOCR 的基本使用。

模型库

支持的算法：

骨干网络

• oCLIP (ECCV'2022)

文字检测

• DBNet (AAAI'2020) / DBNet++ (TPAMI'2022)
• Mask R-CNN (ICCV'2017)
• PANet (ICCV'2019)
• PSENet (CVPR'2019)
• TextSnake (ECCV'2018)
• DRRG (CVPR'2020)
• FCENet (CVPR'2021)

文字识别

• ABINet (CVPR'2021)
• ASTER (TPAMI'2018)
• CRNN (TPAMI'2016)
• MASTER (PR'2021)
• NRTR (ICDAR'2019)
• RobustScanner (ECCV'2020)
• SAR (AAAI'2019)
• SATRN (CVPR'2020 Workshop on Text and Documents in the Deep Learning Era)
• SVTR (IJCAI'2022)

关键信息提取

• SDMG-R (ArXiv'2021)

端对端 OCR

• ABCNet (CVPR'2020)
• ABCNetV2 (TPAMI'2021)
• SPTS (ACM MM'2022)

请点击模型库查看更多关于上述算法的详细信息。

社区项目

这里有一些由社区用户支持和维护的基于 MMOCR 的 SOTA 模型和解决方案的实现。这些项目展示了基于 MMOCR 的研究和产品开发的最佳实践。 我们欢迎并感谢对 OpenMMLab 生态系统的所有贡献。

贡献指南

我们感谢所有的贡献者为改进和提升 MMOCR 所作出的努力。请参考贡献指南来了解参与项目贡献的相关指引。

致谢

MMOCR 是一款由来自不同高校和企业的研发人员共同参与贡献的开源项目。我们感谢所有为项目提供算法复现和新功能支持的贡献者，以及提供宝贵反馈的用户。 我们希望此工具箱可以帮助大家来复现已有的方法和开发新的方法，从而为研究社区贡献力量。

引用

如果您发现此项目对您的研究有用，请考虑引用：

@article{mmocr2021,
    title={MMOCR:  A Comprehensive Toolbox for Text Detection, Recognition and Understanding},
    author={Kuang, Zhanghui and Sun, Hongbin and Li, Zhizhong and Yue, Xiaoyu and Lin, Tsui Hin and Chen, Jianyong and Wei, Huaqiang and Zhu, Yiqin and Gao, Tong and Zhang, Wenwei and Chen, Kai and Zhang, Wayne and Lin, Dahua},
    journal= {arXiv preprint arXiv:2108.06543},
    year={2021}
}

开源许可证

该项目采用 Apache 2.0 license 开源许可证。

OpenMMLab 的其他项目

• MMEngine: OpenMMLab 深度学习模型训练基础库
• MMCV: OpenMMLab 计算机视觉基础库
• MIM: MIM 是 OpenMMlab 项目、算法、模型的统一入口
• MMClassification: OpenMMLab 图像分类工具箱
• MMDetection: OpenMMLab 目标检测工具箱
• MMDetection3D: OpenMMLab 新一代通用 3D 目标检测平台
• MMRotate: OpenMMLab 旋转框检测工具箱与测试基准
• MMSegmentation: OpenMMLab 语义分割工具箱
• MMOCR: OpenMMLab 全流程文字检测识别理解工具箱
• MMPose: OpenMMLab 姿态估计工具箱
• MMHuman3D: OpenMMLab 人体参数化模型工具箱与测试基准
• MMSelfSup: OpenMMLab 自监督学习工具箱与测试基准
• MMRazor: OpenMMLab 模型压缩工具箱与测试基准
• MMFewShot: OpenMMLab 少样本学习工具箱与测试基准
• MMAction2: OpenMMLab 新一代视频理解工具箱
• MMTracking: OpenMMLab 一体化视频目标感知平台
• MMFlow: OpenMMLab 光流估计工具箱与测试基准
• MMEditing: OpenMMLab 图像视频编辑工具箱
• MMGeneration: OpenMMLab 图片视频生成模型工具箱
• MMDeploy: OpenMMLab 模型部署框架

欢迎加入 OpenMMLab 社区

扫描下方的二维码可关注 OpenMMLab 团队的 知乎官方账号，加入 OpenMMLab 团队的 官方交流 QQ 群，或通过添加微信“Open小喵Lab”加入官方交流微信群。

我们会在 OpenMMLab 社区为大家

• 📢 分享 AI 框架的前沿核心技术
• 💻 解读 PyTorch 常用模块源码
• 📰 发布 OpenMMLab 的相关新闻
• 🚀 介绍 OpenMMLab 开发的前沿算法
• 🏃 获取更高效的问题答疑和意见反馈
• 🔥 提供与各行各业开发者充分交流的平台

干货满满 📘，等你来撩 💗，OpenMMLab 社区期待您的加入 👬