[发明专利]自然场景文字识别方法、系统、设备及存储介质

说明书

本发明公开了一种自然场景文字识别方法、系统、设备及存储介质，它们是一一对应的方案，方案中：将图像编码到向量空间，从而被赋予局部和全局多粒度语义，并聚合得到全局向量，再并行生成不同时间步通道注意力图，从而解码出不同时间步的字符信息，由于采用向量到序列的解码方式，不仅可以提升识别速度，同时，由于不同字符在通道空间中共享一些特征表达（例如注意力图被较强地激活），但一些具有区分力特征的通道权重也存在一定差异，因此，可以确保全局向量能够在低质量注意力图的情况下，也能生成鲁棒的字符特征表达（例如缺少对共享通道特征的关注不会影响区分力通道特征的表达），因而，本发明提供的方案可以准确的识别自然场景的文字。

技术领域

本发明涉及自然场景文字识别技术领域，尤其涉及一种自然场景文字识别方法、系统、设备及存储介质。

背景技术

自然场景文字识别是一种通用的文字识别技术，已成为近年来计算机视觉与文档分析领域的热点研究方向，并且被广泛应用于自动驾驶，车牌识别，帮助视障人士等领域。该任务的目标是将图像中的文字内容转换成可编辑的文字。

由于自然场景中的文字具有分辨率低下、背景复杂、易受噪声干扰等特点，导致传统的文字识别技术无法应用到自然场景中。因此，自然场景中的文字识别技术具有重大的研究意义。

随着近年来深度学习技术在计算机视觉领域的发展，近期的场景文字识别方法达到了比较好的效果。这些方法都使用了序列到序列的解码机制，如图1所示，文字识别过程中，首先将输入图像编码到序列信号，此部分通过CNN（卷积神经网络）实现；然后再通过对齐结构解码出序列的字符信息，此部分通过序列到序列的解码器实现，它可以是基于注意力机制的解码器，也可以是基于CTC（连接时序分类）机制的解码器，图1顶部提供的字符均为示例。然而，这种序列到序列的对齐结构设计较为复杂，无法有效地平衡文字识别过程的速度和鲁棒性，因此场景文字识别的速度和精度还有待提升。

发明内容

本发明的目的是提供一种自然场景文字识别方法、系统、设备及存储介质，可以快速、准确的识别自然场景的文字。

本发明的目的是通过以下技术方案实现的：

一种自然场景文字识别方法，包括：

步骤1、将待识别的自然场景图像转换为序列信息，再通过多层Transformer模块提取出多粒度的视觉特征向量；其中，Transformer模块为变压器模块；

步骤2、对所述多粒度的视觉特征向量进行聚合，获得全局向量；

步骤3、利用所述全局向量并行生成每个时间步的通道注意力图，并结合所述全局向量，获得每个时间步的字符特征向量，利用每个时间步的字符特征向量预测出每个时间步的字符。

一种自然场景文字识别系统，包括：

编码器，用于将待识别的自然场景图像转换为序列信息，再通过多层Transformer模块提取出多粒度的视觉特征向量；其中，Transformer模块为变压器模块；

特征聚合模块，用于对所述多粒度的视觉特征向量进行聚合，获得全局向量；

向量到序列的解码器，用于利用所述全局向量并行生成每个时间步的通道注意力图，并结合所述全局向量，获得每个时间步的字符特征向量，利用每个时间步的字符特征向量预测出每个时间步的字符。

一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。

一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。