[发明专利]一种基于孪生卷积神经网络的书法字识别方法

说明书

本发明公开了一种基于孪生卷积神经网络的书法字识别方法。该方法包括：获取待识别的书法字图片；将所述书法字图片输入经训练的孪生卷积神经网络模型，该孪生神经网络模型包含第一卷积神经网络和第二卷积神经网络，其中第一卷积神经网络输出对应的第一特征向量，第二卷积神经网络输出对应的第二特征向量；计算第一特征向量和第二特征向量之间的相似度；基于所述相似度结果预测书法字的类别。本发明能够通过少量甚至单一样本训练孪生卷积神经网络，降低了训练成本并显著提高了书法字的识别精确度。

技术领域

本发明涉及书法字识别技术领域，更具体地，涉及一种基于孪生卷积神经网络的书法字识别方法。

背景技术

中国书法字的历史和丰富度广博又深远，而目前年轻一代对一些书法字还缺乏了解。例如，登高岳阳楼，行于楼东新碑廊，面对龙飞凤舞，气吞山河的古文隽字，只能徒然汗颜，这是因为难以识别出文字内容。如果可以通过机器快速进行识别，那么就可以克服阅读障碍。

书法字体通常可以分为“楷、草、行、隶、篆”五大类，不同字体间形态特征差异较大，对于没有经过系统学习的普通人可能难以辨认。市面上也存在此类需求的应用和软件，但准确率都不是很高。例如，手写的连笔“围”字，容易被判断成“国”字，其根本原因是现有的识别技术仅基于一种简单的特征比对，如一个“国”字，收录几十到几百张数据，用户端输入一个字的信息后，通过特征比对，寻找最相匹配的结果。这种方式要求极庞大的数据样本才能够提高准确率，而中国书法字的样本却十分少，所以这种识别方法准确率较低，并且成本过高。

在现有技术中，书法字识别的方案通常分为两类。一是不通过神经网络训练，而是收集样本建立大数据库，然后将待识别的文字在数据库中查找比对，取相似度最高的作为识别结果。二是通过神经网络进行学习，这种方法需要收集大量样本数据进行训练，选择表征相符合的结果，从而实现准确识别的效果。

对于不通过神经网络训练的方法，例如专利申请公布号CN103093240A(“书法字识别方法”)对书法字进行二值化、去噪和归一化处理后提取特征信息，如四个边界点位置、平均笔画穿越数、投影值、轮廓点等，然后，提取待识别书法字的特征信息，再进行形状匹配比较，给出识别结果，这种方法识别准确率较低。又如，专利申请公布号CN101785030A(“基于隐式马尔可夫模型的手写笔迹/书法生成”)用马尔可夫模型来生成手写字符。经训练的隐式马尔可夫模型可使用诸如最大后验技术、最大似然线性，这种方法同样存在识别准确率较低的问题。

对于通过神经网络进行训练的方法，需要大量数据作为支撑，但书法的数据集样本很小，且收集困难。据最新版新华字典的收录，约有超过11000的汉字，常用汉字为3500。每个字需要收集几十到几千个样本，已有的识别技术所需的时间成本高而准确率低。例如专利申请公布号CN110334782A(“多卷积层驱动的深度信念网络书法风格识别方法”)和专利申请公布号CN108764242A(“基于深层卷积神经网络的离线手写汉字体识别方法”)就无法在样本量小的情况下有效训练神经网络。而专利申请公布号CN108985348(“基于卷积神经网络的书法风格识别方法”)只能做到书法风格识别，不能做到书法字识别。

总之，现有的书法字识别方法准确率不高，这主要是因为，书法字形态多样，且书法作者个人发挥空间大，对于部分形态非标准的书法字样本，用传统特征提取的手动编程算法识别效果不理想；部分生僻字的样本量小，所以可用于机器学习的数据库体量小，导致传统基于深度学习的机器视觉算法训练效果不理想。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于孪生卷积神经网络的书法字识别方法。该方法包括以下步骤：

获取待识别的书法字图片；

将所述书法字图片输入经训练的孪生卷积神经网络模型，该孪生神经网络模型包含第一卷积神经网络和第二卷积神经网络，其中第一卷积神经网络输出对应的第一特征向量，第二卷积神经网络输出对应的第二特征向量；

计算第一特征向量和第二特征向量之间的相似度；