[发明专利]一种基于时空卷积神经网络的图像字符识别方法

权利要求书

1.一种基于时空卷积神经网络的图像字符识别方法，其特征在于,包括以下步骤:

步骤S01、对输入的图像进行预处理；

步骤S02、利用时空卷积神经网络提取输入图像的特征；

步骤S03、对提取的特征进行序列建模；

步骤S04、根据提取的特征序列进行最后结果的预测；

所述步骤02中，首先通过卷积层、非线性层和下采样层抽象出图像的全局特征，其定义如下：

F:In→Out,In∈R^{H′×W′×C′},Out∈R^H×W×C

其中，In为网络的输入，图像或者特征图，Out是网络的输出特征图，W′、H′和C′分别为输入特征图的长、宽和通道数；W、H和C分别为输出特征图的长、宽和通道数；

所述步骤02中，然后采用通道权重学习机制来捕获通道特征之间的依赖关系，权重因子学习过程如下：

a.对通道特征F沿着通道维度进行全局平均池化操作，数学表达式如下所示：

其中，g_c是由c个特征图的数值分布构成的向量，AvgPool代表全局池化操作，out代表网络输出的特征图，H、W代表特征图的宽与长；

b.通过g_c建立通道之间的关系，通过学习参数为每个特征通道分配不同的权重，数学表达式如下所示：

s＝σ(W₂δ(W₁g_c))

其中，步骤a得到的结果是g_c，W₁表示全连接层的参数，W₁的维度是r是一个缩放参数；δ表示ReLU激活函数，W₂代表全连接层的参数，W₂的维度是σ表示sigmoid激活函数；

c.s刻画C个特征图的权重，通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定，数学表达式如下所示：

其中，表示最后得到的特征图。

2.如权利要求1所述的基于时空卷积神经网络的图像字符识别方法，其特征在于,所述步骤01中，对输入的图像进行预处理包括对模糊的图像进行去模糊处理以及对倾斜扭曲的图像进行转正处理。

3.如权利要求1所述的基于时空卷积神经网络的图像字符识别方法，其特征在于,所述步骤01中，对输入的图像进行预处理过程中以n张图像为单位进行训练，将图像尺寸归一化。

4.如权利要求3所述的基于时空卷积神经网络的图像字符识别方法，其特征在于,将图像尺寸归一化具体包括：将图像以高度为32个像素进行等比缩放，同时以n张图像中宽度最大的图像为基准，将其它宽度不足最大宽度的图像进行像素值为0的填充。

5.如权利要求1所述的基于时空卷积神经网络的图像字符识别方法，其特征在于,所述步骤03中，对提取的特征进行序列建模过程中，空洞卷积允许卷积计算时的输入存在间隔采样，使得有效窗口的大小随着层数呈指数型增长，在t时刻空洞卷积的数学定义如下：

其中，F为卷积核，S为特征序列，k为一维卷积的尺寸，d为空洞卷积的扩张参数。