[发明专利]一种基于维语文字识别的训练数据生成系统及方法

说明书

本发明公开了一种基于维语文字识别的训练数据生成系统及方法，上述系统及方法包括：语料库模块，根据OCR特定场景生成对应的语料库；字体库模块，根据OCR特定场景生成对应的字体库；背景库模块，根据OCR特定场景生成对应的背景库；训练数据生成模块，生成数据图片源，通过特效处理后生成OCR数据。所述的训练数据生成模块包括：输入引擎、生成引擎、特效引擎和输出引擎。本方案提供一种跨平台的，易用的生成训练数据的方法和系统，并针对维语形式的特殊处理，同样适用于freetype2支持的其它语种和字体。

技术领域

本发明涉及一种文字识别领域，尤其涉及一种基于维语文字识别的训练数据生成系统及方法。

背景技术

OCR （Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。随着人工智能技术的不断发展，相关OCR技术方案越来越多，越来越成熟，但是针对训练的数据需要一套通用性的，跨平台的系统来生成大批量的训练数据来对OCR进行训练。

针对当前大部分的OCR技术框架都是使用image-label的数据来进行训练的，考虑到平台的通用性，使用Python+Opencv+PIL+freetype2接口来实现数据的生成，可以在linux/windows等平台使用，并可以根据实际场景选用不同的语料数据和背景数据及字体，并能导入第三方数据，具有很高的通用性和易用性。

老维文基于阿拉伯字母，所以没有大小写之分，老维文是严格的读写一一对应字母表维吾尔文有32个字母，自右至左横书。每个字母按出现在词首、词中、词末的位置有不同的形式。字母表中的单式除代表该字母的独立形式外，一般出现在词末不可连字母之后；前式出现在可连字母之前；中式出现在词中两个可连字母中间；末式出现在词末可连字母之后。有些字母只有单式和末式。freetype2技术可以很好的进行维语的变形显示和控制，显示和所见即所得的生成文字图片。

发明内容

本发明的目的在于克服现有技术的缺点，提供一种跨平台的，易用的生成训练数据的方法和系统，并针对维语形式的特殊处理，同样适用于freetype2支持的其它语种和字体。

本发明的目的是通过以下技术方案来实现的：一种基于维语文字识别的训练数据生成系统，该系统包括语料库模块、字体库模块、背景库模块和生成模块；语料库模块根据OCR特定场景生成对应的语料库，字体库模块根据OCR特定场景生成对应的字体库，背景库模块根据OCR特定场景生成对应的背景库，生成模块生成数据图片源，通过特效处理后生成OCR数据。

所述的生成模块包括输入引擎、生成引擎、特效引擎和输出引擎。

一种基于维语文字识别的训练数据生成方法，该方法应用于上述训练数据生成中，包括以下步骤：

S1：根据OCR特定场景生成对应的语料库；

S2：根据OCR特定场景生成对应的字体库；

S3：根据OCR特定场景生成对应的背景库；

S4：生成数据图片源，通过特效处理后生成OCR数据。

进一步的，所述的步骤S1包括以下子步骤：

S11：使用爬虫、网络获取所述特定场景文本数据；

S12：删除空格及非识别文字；

S13：转换统一UTF8格式到指定位置。

进一步的，所述的步骤S2包括以下子步骤：

S21：下载特定的字体；

S22：验证测试字体，判断是否支持freeType；