[发明专利]一种在相机失焦情况下的数字检测识别方法

权利要求书

1.一种在相机失焦情况下的数字检测识别方法，其特征在于，所述方法包括以下操作：

S1、构建带有数字位置和内容标注的数据集；具体为：每个场景下采集5张失焦图像和1张对焦正确的图像，并标注图像中数字的位置和内容；对采集的数据集进行数据增强处理；生成一串固定长度的随机数字，将随机数字转化为图像，拼接到随机背景上，同时生成图像中数字的位置和内容，并对每一张生成图像通过卷积操作进行失焦处理；所述通过卷积操作进行失焦处理具体为：

生成1-7之间的随机整数R，R为卷积核的半径，并生成1-2之间的随机数σ，生成卷积核：

其中，r为(x,y)到卷积核中心的距离，G(x,y)为初步得到的卷积核，F(x,y)为进行归一化处理之后的卷积核，将F(x,y)和生成的图像进行卷积操作，得到失焦图像；

S2、搭建二级卷积神经网络，进行特征提取、特征融合以及失焦修正得到失焦修正后的图像，再提取位置特征，对位置特征进行修正，识别数字内容和位置；

S3、将采集和生成的数据集训练所述二级卷积神经网络；

S4、在应用时，将图像输入到二级网络中，得到网络输出的数字位置和内容。

2.根据权利要求1所述的一种在相机失焦情况下的数字检测识别方法，其特征在于，所述二级卷积神经网络中，第一级为失焦修正网络，第二级为数字定位与识别网络；所述失焦修正网络包括特征提取模块、特征融合模块以及失焦修正模块；所述数字定位与识别网络包括位置特征模块、位置参数模块、位置修正模块以及数字识别模块。

3.根据权利要求2所述的一种在相机失焦情况下的数字检测识别方法，其特征在于，所述特征提取模块的输入为5张失焦图像，输出为各个失焦图像的特征图；所述特征融合模块的输入为5张失焦图像的特征图合并后的总特征图，输出为融合后的特征图；所述失焦修正模块的输入为5张失焦图像的平均值和融合后的特征图合并后的结果，输出为失焦图像平均值的修正值。

4.根据权利要求2所述的一种在相机失焦情况下的数字检测识别方法，其特征在于，所述位置特征模块的输入为失焦修正网络的输出，输出位置特征图；所述位置参数模块的输入为位置特征图，输出维度为4的数字位置参数φ，通过使用区域池化操作根据数字位置参数截取位置特征图，生成位置修正特征图；所述位置修正模块的输入为位置修正特征图，输出维度为4的数字位置修正参数δφ，通过计算得到每个数字的位置参数，使用区域池化操作根据每个数字的位置参数截取合并特征图，生成数字特征图；所述数字识别模块的输入为数字特征图，输出为one-hot编码的预测向量。

5.根据权利要求4所述的一种在相机失焦情况下的数字检测识别方法，其特征在于，所述使用区域池化操作根据数字位置参数截取位置特征图具体为：

根据输入的矩形框参数在特征图中截取相应的区域，并将区域划分为10*5C个感受野，在每个感受野中选取距离相等的4个点，坐标为(x_i，y_i)，i＝1,2,3,4，对于每个点(x_i，y_i)根据以下公式计算该点的采样值：

其中，S_i为坐标(x_i，y_i)处的采样值，表示向上取整，表示向下取整，f(x，y)为特征图在坐标(x，y)处的值，感受野的输出根据以下公式计算：

S_output＝max{S₁，S₂.S₃，S₄}。

6.根据权利要求4所述的一种在相机失焦情况下的数字检测识别方法，其特征在于，所述通过计算得到每个数字的位置参数具体为：

φ′＝φ+δφ

其中，φ′为修正后的数字位置，φ为数字位置参数，δφ为数字位置修正参数。

7.根据权利要求2所述的一种在相机失焦情况下的数字检测识别方法，其特征在于，所述二级卷积神经网络的损失函数为：

L＝L₁+L₂+L₃+L₄

式中，L₁为失焦修正网络的损失函数，X_img为失焦修正网络的输出，Y_img为对焦正确的图像，⊙表示矩阵点乘，Y_mask为根据数字位置信息生成的掩码；

L₂＝IOU(Y_mask，X_mask)

其中，Y_mask为根据标注的数字位置信息生成的掩码，X_mask为根据位置参数模块输出的数字位置参数φ生成的掩码；

L₃＝IOU(Y_mask，X′_mask)

其中，Y_mask为根据标注的数字位置信息生成的掩码，X′_mask为根据修正后的数字位置φ′生成的掩码；

其中，Y_num为one-hot编码的数字标注真实值，X_num为one-hot编码的数字预测值。