[发明专利]一种基于孪生卷积神经网络的书法字识别方法

权利要求书

1.一种基于孪生卷积神经网络的书法字识别方法，包括以下步骤：

获取待识别的书法字图片；

将所述书法字图片输入经训练的孪生卷积神经网络模型，该孪生神经网络模型包含第一卷积神经网络和第二卷积神经网络，其中第一卷积神经网络输出对应的第一特征向量，第二卷积神经网络输出对应的第二特征向量；

计算第一特征向量和第二特征向量之间的相似度；

基于所述相似度结果预测书法字的类别。

2.根据权利要求1所述的方法，其特征在于，根据以下步骤训练所述孪生卷积神经网络模型：

构建训练集，该训练集以字作为类别，每个类别对应一个或多个样本图片，其中每个类别所对应的样本图片反映字体类别和形态特征；

利用所述训练集以设定的损失为优化目标，训练所述孪生卷积神经网络模型，其中针对两个样本图片，分别输入第一卷积神经网络和第二卷积神经网络，得出两个特征向量，计算所述两个特征向量的相似度，并采用布尔值来标记所述两个特征向量的相似度结果，以表征所述两个样本图片是否包含相同的书法字，并且训练过程中，通过反向传导布尔值和计算出的相似度值的差值进行随机梯度下降。

3.根据权利要求2所述的方法，其特征在于，所述训练集中所包含字的数目大于3000，每个字对应的样本数小于等于10。

4.根据权利要求1所述的方法，其特征在于，第一卷积神经网络和第二卷积神经网络具有相同的结构，各包含四个特征提取结构，其中：

第一特征提取结构包含卷积层，卷积核数目设置为32-128，卷积核大小设置为p×p，p是介于5和15之间的整数；k×k的池化层，k是介于1和5之间的整数；批规范化层；丢弃层，设置为保留25％-75％数量的神经元；

第二特征提取结构包括卷积层，卷积核数目设置为64-256，卷积核大小设置为q×q，q是介于5和10之间的整数；k×k的池化层，k是介于1和5之间的一个整数；批规范化层；丢弃层，设置为保留25％-75％数量的神经元；

第三特征提取结构包括卷积层，卷积核数目设置为64-256，卷积核大小设置为s×s，其中s是介于2和6之间的一个整数；k×k的池化层，k是介于1和5之间的一个整数；批规范化层；丢弃层，设置为保留25％-75％数量的神经元；

第四特征提取结构包括卷积层，卷积核数目设置为128-512，卷积核大小设置为t×t，t是介于2和6之间的一个整数；k×k的池化层，k是介于1和5之间的一个整数；批规范化层；丢弃层，设置为保留25％-75％数量的神经元。

5.根据权利要求1所述的方法，其特征在于，采用欧几里得距离或者cosine相似度来衡量第一特征向量和第二特征向量之间的相似度。

6.根据权利要求1所述的方法，其特征在于，还包括：

根据第一特征向量和第二特征向量之间的相似度结果判断待识别的字是否存在于字库中；

在判断结果为否的情况下，则将该待识别书法字囊括在字库中。

7.根据权利要求2所述的方法，其特征在于，还包括：采用第二训练集训练所述孪生卷积神经网络模型，在第二训练集中，以字体作为类别，每个类别对应一个或多个样本图片。

8.根据权利要求2所述的方法，其特征在于，对于所述训练集，如果一个字已经有三个或三个以上的样本，则删除带有多个字体的样本图片，如果一个字少于三个样本，则保留具有多个字体的图片，并将其分成单个字体。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至8中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，在所述存储器上存储有能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至8中任一项所述的方法的步骤。