[发明专利]用于识别图像中的文本的方法和设备

权利要求书

1.一种用于识别图像中的文本的方法，包括：

用卷积神经网络(CNN)将所述图像编码为第一序列，其中所述第一序列是所述CNN的倒数第二个卷积层的输出；

用递归神经网络(RNN)将所述第一序列解码为第二序列，所述第二序列具有与所述第一序列相同的长度，并指示对应于所述第一序列中的每个分量的所有可能字符的估计概率；以及

将所述第二序列映射为去除了重复的标签和非字符标签的字串。

2.根据权利要求1所述的方法，其中用CNN将所述图像编码为第一序列包括：

用所述CNN对所述图像作为一个整体进行卷积，其中从所述CNN的所述倒数第二个卷积层获得的卷积的结果为所述第一序列。

3.根据权利要求1所述的方法，其中用CNN将所述图像编码为第一序列包括：

将滑动窗口应用于所述图像以将所述图像划分成大小相同的段；以及

用所述CNN来个别地和按顺序对所述段进行卷积，其中从所述CNN的所述倒数第二个卷积层获得的卷积的结果是形成所述第一序列的分量。

4.根据权利要求1所述的方法，在所述编码的步骤之前进一步包括：

将所述图像重新设置为具有预定大小。

5.根据权利要求4所述的方法，其中所述CNN已用具有所述预定大小的图像样本训练过，并且在所述CNN的最后一个层输出不同字符的36个类。

6.根据权利要求1所述的方法，其中所述CNN的所述倒数第二个卷积层的输出仅为一个神经元。

7.根据权利要求1所述的方法，其中所述RNN已用一组卷积序列和对应的字串训练过。

8.根据权利要求1所述的方法，其中所述CNN包括maxout CNN。

9.根据权利要求1所述的方法，其中所述RNN包括双向长短期记忆(LSTM)层和链结式时间分类(CTC)层，其中所述LSTM层形成所述第二序列，并且所述CTC层形成所述字串。

10.一种用于识别图像中的文本的设备，其包括：

卷积神经网络(CNN)，将所述图像编码为第一序列，其中所述第一序列是所述CNN的倒数第二个卷积层的输出；以及

递归神经网络(RNN)，将所述第一序列解码为第二序列，所述第二序列具有与所述第一序列相同的长度，并指示对应于所述第一序列中的每个分量的所有可能字符的估计概率；

其中所述RNN进一步将所述第二序列映射为去除了重复的标签和非字符标签的字串。

11.根据权利要求10所述的设备，其中所述CNN通过以下步骤将所述图像编码为第一序列：

用所述CNN对所述图像作为一个整体进行卷积，其中从所述CNN的所述倒数第二个卷积层获得的卷积的结果是所述第一序列。

12.根据权利要求10所述的设备，其中所述CNN通过以下步骤将所述图像编码为第一序列：

将滑动窗口应用于所述图像以将所述图像划分成大小相同的段；以及

用所述CNN来个别地和按顺序对所述段进行卷积，其中从所述CNN的所述倒数第二个卷积层获得的所述卷积的结果是形成所述第一序列的分量。

13.根据权利要求10所述的设备，其中所述图像在输入到所述CNN之前被重设为具有预定大小。

14.根据权利要求13所述的设备，其中所述CNN已用具有所述预定大小的图像样本训练过，并且在所述CNN的最后一个层处输出不同字符的36个类。

15.根据权利要求10所述的设备，其中来自所述CNN的所述倒数第二个卷积层的所述输出仅为一个神经元。

16.根据权利要求10所述的设备，其中所述RNN已用一组卷积序列和对应的字串训练过。

17.根据权利要求10所述的设备，其中所述CNN包括maxout CNN。

18.根据权利要求10所述的设备，其中所述RNN包括双向长短期记忆(LSTM)层和链结式时间分类(CTC)层，其中所述LSTM层形成所述第二序列，并且所述CTC层形成所述字串。