[发明专利]一种基于OCR的数据处理方法、系统、平台、设备及介质

说明书

本发明提供一种基于OCR的数据处理方法、系统、平台、设备及介质，首先通过对预先标注的数据进行训练，生成预训练模型；再通过所述预训练模型对未标注的数据进行标注，生成训练数据集；最后根据所述训练数据集进行训练，生成用于识别目标数据的识别模型。本发明能够用极少的标注数据完成边训练边标注，并且能够通过该识别模型来识别真实产线环境下的目标数据，其中目标数据包括但不限于证件图像、单据图像、票据图像，使得本发明中的识别模型能够识别真实产线环境中的证件、单据、票据等。同时，本发明的训练过程是端对端的开发，而端对端的开发只需要2天，在开发周期方面比现有技术提升了一个量级。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于OCR的数据处理方法、系统、平台、设备及介质。

背景技术

如今，信息及数据能够产生重大影响，获取纸面上的结构化信息对于行业的发展及服务的优化有着至关重要的影响。因此，图像化信息录入过程繁琐笨重，浪费人力物力，成为数据应用的瓶颈。

由于地域、主题、领域的不同，各地各种功能的证件、票据、单据呈现出种类纷杂、没有固定版式特征，且由于版式不统一导致票据结构化信息提取的难度相当大。此外，由于没有统一的标准，油墨纸张及印刷质量也参差不齐，经常会出现印刷错位及印章干扰等，保存过程种也会出现折痕或褶皱等，拍照过程也可能出现阴影或反光等问题。而目前的OCR(Optical Character Recognition,光学字符识别)识别算法开发方式开发周期长(一般长达一个月或数个月)、代价大、成本高、落地几无可能。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于OCR的数据处理方法、系统、平台、设备及介质，用于解决现有技术中存在的问题。

为实现上述目的及其他相关目的，本发明提供一种基于OCR的数据处理方法，包括以下步骤：

对预先标注的数据进行训练，生成预训练模型；

通过所述预训练模型对未标注的数据进行标注，生成训练数据集；

根据所述训练数据集进行训练，生成用于识别目标数据的识别模型。

可选地，预先标注的数据包括以下至少之一：票据图像、票证图像、证件图像、单据图像。

可选地，预先标注数据的方式包括以下至少之一：通过人工进行标注、通过自定义模板自动生成标注、通过爬取进行标注。

可选地，所述标注包括以下至少之一：框选原始图像中待识别区域、记录原始图像中文本框的内容。

可选地，所述目标数据包括以下至少之一：真实产线环境中的票据、真实产线环境中的票证、真实产线环境中的证件、真实产线环境中的单据。

可选地，对预先标注的数据进行训练和/或根据训练数据集进行训练，所述训练包括以下至少之一：版式分析、文本检测、文本识别。

可选地，对预先标注的数据进行训练，获取文字像素级的特征；

根据所述文字像素级的特征定位待识别的文本行，获取文本行切片；

识别所述文本行切片，生成多个预训练数据；

将所述多个预训练数据进行合成，根据合成后的预训练数据训练出预训练模型。

可选地，所述版式分析包括以下至少之一：预处理、转正、矫正。

可选地，识别所述文本行切片，通过在线数据增强方法、生成对抗神经网络生成多个预训练数据。

可选地，调度生成的预训练模型；

通过所述预训练模型对未标注数据进行自动标注；

对自动标注后的数据进行复核，生成本轮训练数据集；