[发明专利]基于神经网络搜索的场景文字识别方法及装置

说明书

本发明公开了基于神经网络搜索的场景文字识别方法及装置，涉及计算机视觉技术领域；方法包括S1特征提取，处理器获取图像，通过卷积神经网络获取图像相应的搜索空间；S2基于搜索空间搜索，处理器基于搜索空间搜索并获取场景文本；装置包括特征提取模块和基于搜索空间搜索模块共两个程序模块；其通过步骤S1和步骤S2等，实现了特征提取精度较高、效率较高。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于神经网络搜索的场景文字识别方法及装置。

背景技术

现阶段通用的自然场景文本识别算法可被分为校正模块(RectificationModule)、特征提取模块(Backbone)和转录模块(Feature Translator Module)三大部分。由于拍摄角度与设备等因素，文本常常出现形变。校正模块负责将此类不规则文本纠正为水平文本，降低后续识别网络的识别难度；特征提取模块负责将校正后的文本图像映射到高维向量空间；转录模块负责将编码的高维特征向量解码为目标字符串序列。现有研究方法往往针对校正模块和转录模块进行改进，而忽略特征提取模块。但应当注意到，特征提取模块对文本识别的性能表现有较大影响，并且该模块的计算量和存储负担在整个识别框架中占比较高。因此，无论是从提升精度和增加效率的角度上，特征提取模块的设计都应当被重视。

现有技术问题及思考：

如何解决特征提取精度较低、效率较差的技术问题。

发明内容

本发明所要解决的技术问题是提供一种基于神经网络搜索的场景文字识别方法及装置，其通过步骤S1和步骤S2等，实现了特征提取精度较高、效率较高。

为解决上述技术问题，本发明所采取的技术方案是：一种基于神经网络搜索的场景文字识别方法包括如下步骤S1特征提取，处理器获取图像，通过卷积神经网络获取图像相应的搜索空间；S2基于搜索空间搜索，处理器基于搜索空间搜索并获取场景文本。

进一步的技术方案在于：在步骤S1中，所述图像为设备采集的原始图像或者经过校正的图像，所述搜索空间为一条有效路径包括下采样路径搜索空间和操作方式搜索空间，搜索空间为大小统一的特征向量序列。

进一步的技术方案在于：在步骤S2中，搜索时，处理器将每一下采样位置相邻的上一位置的卷积块与该下采样位置相邻的下一位置的卷积块进行互换。

进一步的技术方案在于：在步骤S2中，处理器将无向图中的每一条边的操作权重在alpha矩阵中随机初始化，根据alpha矩阵生成子网络结构进行训练并得到反馈指标，通过双目标优化来联合优化alpha矩阵的参数和卷积神经网络的权重信息，在达到收敛效果后从学习到的混合概率信息中得到最终的卷积神经网络，基于该卷积神经网络重新进行完整的训练。

一种基于神经网络搜索的场景文字识别装置包括特征提取模块和基于搜索空间搜索模块共两个程序模块，特征提取模块，用于处理器获取图像，通过卷积神经网络获取图像相应的搜索空间；基于搜索空间搜索模块，用于处理器基于搜索空间搜索并获取场景文本。

进一步的技术方案在于：特征提取模块中，所述图像为设备采集的原始图像或者经过校正的图像，所述搜索空间为一条有效路径包括下采样路径搜索空间和操作方式搜索空间，搜索空间为大小统一的特征向量序列。

进一步的技术方案在于：基于搜索空间搜索模块中，搜索时，处理器将每一下采样位置相邻的上一位置的卷积块与该下采样位置相邻的下一位置的卷积块进行互换。

进一步的技术方案在于：基于搜索空间搜索模块中，处理器将无向图中的每一条边的操作权重在alpha矩阵中随机初始化，根据alpha矩阵生成子网络结构进行训练并得到反馈指标，通过双目标优化来联合优化alpha矩阵的参数和卷积神经网络的权重信息，在达到收敛效果后从学习到的混合概率信息中得到最终的卷积神经网络，基于该卷积神经网络重新进行完整的训练。