[发明专利]一种端到端的集装箱号码识别方法及系统

权利要求书

1.一种端到端的集装箱号码识别方法，其特征在于，包括以下步骤：

获取集装箱图片并将集装箱图片输入至预训练的识别模型；

基于显著性前景感知网络对输入图片进行特征提取和分割，得到文本显著性特征图；

基于LSTM网络对文本显著特征图进行字符增强，得到字符增强特征；

基于位置编码层对时间步长进行编码并输出查询向量；

基于自注意力机制模型，以文本显著性特征图作为值输入、字符增强特征作为键输入、查询向量作为查询输入，输出特征向量；

基于线性层对特征向量进行输出，得到识别结果。

2.根据权利要求1所述一种端到端的集装箱号码识别方法，其特征在于，还包括：

获取待测视频并对待测视频进行抽帧处理，得到集装箱图片。

3.根据权利要求1所述一种端到端的集装箱号码识别方法，其特征在于，所述基于显著性前景感知网络对输入图片进行特征提取和分割，得到文本显著性特征图这一步骤，其具体包括：

获取集装箱图片；

对集装箱图片进行初步特征提取，得到原始图像特征图；

引入不同点的注意力相似性，对原始图像特征图按纬度进行重塑，得到全局特征图；

将全局特征图添加至原始图像特征图，得到全局显著特征图；

将全局显著特征图进行融合，得到文本提案框；

将文本提案框映射回全局显著特征图，得到文本显著性特征图。

4.根据权利要求3所述一种端到端的集装箱号码识别方法，其特征在于，所述引入不同点的注意力相似性，对原始图像特征图按纬度进行重塑，得到全局特征图这一步骤，其具体包括：

引入不同点的注意力相似性；

对原始图像特征图的三个维度分别进行卷积和重塑，得到重塑后的第一纬度、重塑后的第二纬度和重塑后的第三纬度；

将重塑后的第一纬度和重塑后的第二纬度相乘并进行sofamax处理，得到相似度矩阵；

将重塑后的第三纬度与相似度矩阵相乘，得到全局特征图。

5.根据权利要求4所述一种端到端的集装箱号码识别方法，其特征在于，引入不同点的注意力相似性的公式表示如下：

上式中，下标i是所求全局特征响应输出位置的索引，下标j列举了全局所有可能位置的索引，X是输入特征图，W_θ和W_Φ是维度θ和Φ中需要网络学习的权重矩阵。

6.根据权利要求5所述一种端到端的集装箱号码识别方法，其特征在于，所述基于LSTM网络对文本显著特征图进行字符增强，得到字符增强特征这一步骤，其具体包括：

基于两层的LSTM对文本显著特征图进行处理，捕获全局上下文信息；

将第二层LSTM的隐藏变量进行卷积操作，得到字符增强特征。

7.根据权利要求1所述一种端到端的集装箱号码识别方法，其特征在于，识别模型的训练过程，使用文本检测损失和文本识别损失进行模型优化。

8.根据权利要求7所述一种端到端的集装箱号码识别方法，其特征在于，所述文本检测损失的表达式如下：

上式中，P_tex(i)和G_tex(i)分别是文本分割结果中第i个像素的预测值和文本区域的真实值。

9.根据权利要求7所述一种端到端的集装箱号码识别方法，其特征在于，所述文本检测损失的表达式如下：

上式中，I是来自所有文本提案框集合Q的一张图，S是包含所有文本字符类别的标签，L是一个文本提案框文本序列的长度，log(P(S_l|l,I))表示在被预测序列的第l个字符预测结果为S_l的条件概率。

10.一种端到端的集装箱号码识别系统，其特征在于，包括：

输入模块，用于获取集装箱图片并将集装箱图片输入至预训练的识别模型；

显著性前景感知模块，基于显著性前景感知网络对输入图片进行特征提取和分割，得到文本显著性特征图；

字符特征增强模块，基于LSTM网络对文本显著特征图进行字符增强，得到字符增强特征；

位置编码模块，基于位置编码层对时间步长进行编码并输出查询向量；

自注意力机制模块，基于自注意力机制模型，以文本显著性特征图作为值输入、字符增强特征作为键输入、查询向量作为查询输入，输出特征向量；

线性输出模块，基于线性层对特征向量进行输出，得到识别结果。