[发明专利]一种集装箱箱顶洞识别方法

权利要求书

1.一种集装箱箱顶洞识别方法，其特征在于，包括如下步骤：

S1、输入图像：以安装在桥吊的摄像头作为视频采集器，通过5个相机分别抓拍集装箱的左、顶、右、前、后箱的视频流和图像，运用帧之间纹理特征，相邻两帧之间的差异选取关键帧，然后进行图像拼接并输入箱顶定位模型；

S2、提取特征：采用改进的MobileNetV3作为特征提取的骨架网络进行特征提取；从H×W×C的特征图经过平均池化变成1×1×C的向量，再经过两次1×1的卷积后，获得1×1×C的权重；最后将原来的特征图逐层与该向量相乘，获得最终的结果；所述步骤中采用的激活函数如下；

S3、输出特征矩阵：使用1×1、3×3大小的卷积神经网络CNN以及最大池化对提取到的特征进行采样输出特征矩阵；所述最大池化先对原图像进行填充再做卷积；填充值的大小根据卷积核大小以及滑动步长决定，当滑动步长大于1时填充数＝K-I％S，其中K表示卷积核边长，I输入图像的边长，S为滑动步长；当滑动步长为1时，卷积核边长直接减1，当差偶数个元素时，首尾各补一半，差奇数个时前边补奇数个，后边补偶数个；所述特征矩阵按如下公式计算：

Output_size＝Ceil[(Input_size+Padding*2-Kernel_size)/Stride]+1,其中,Ceil[1.1]＝2

S4、所述步骤S3获得的特征矩阵进入双注意网络进行特征融合；所述双注意网络包括位置注意力模块和通道注意力模块；所述位置注意力模块旨在利用任意两点特征之间的关联，来相互增强各自特征的表达；所述通道注意力模块旨在通过建模通道之间的关联，增强通道下特定语义的相应能力；

S5、所述步骤S4特征融合后与MobileNetV3的中间输出层进行合并；

S6、对合并后的特征矩阵上采样到原始图片分辨率后输出语义分割的结果；所述上采样的方法如下：F^LR是所述步骤S5输出的特征，定标因子表示为r，对于SR图像中的每个像素(i,j)，由LR图像在像素(i′,j′)上的特征和对应滤波器(卷积核)的权重决定；需要将模块(i,j)和(i′,j′)匹配；上采样的形式化表述如下：

I^SR(i,j)表示SR在(i,j)的像素值，表示的是用来计算像素值的特征映射函数；W(i,j)是SR上的像素(i,j)对应的卷积核的权重其中

对于SR中的每个像素(i,j)位置投影模块要找到LR图像对应的(i′,j′)；用以下投影操作来映射这两个像素T是转换函数；

S7、采用YOLOv5进行边框回归：将所述步骤S6输出的图片分为M×N个模块，检测目标中心点在哪一个模块，给定(P_x,P_y,P_w,P_h)寻找一种映射f，使得并且

S8、输出箱顶洞中心点所在的坐标：输入待识别的图片经过本发明提供的识别模型后最终生成一张与原图片同样大小但是只包含0和1的二值化图片，生成的图片中像素值为1的的位置对应箱顶洞的区域，通过计算你值为1的连通域进行定位，最终可以得到箱顶洞中心点所在的坐标；

步骤S2特征提取，包括以下步骤：

(1)第一步，将原先输入的12×12×3拆分成12×12×1的单层；

(2)第二步，将5×5×3的kernel拆分成5×5×1，逐层进行卷积获得3个8×8×1的特征；

(3)第三步，采用256个1×1的卷积获取256个8×8的特征；

步骤S4的双注意网络分别获取通道注意力模块和位置注意力模块；

所述通道注意力模块的获取步骤如下：

(1)第一步，特征图A(C×H×W)首先分别通过3个卷积层BN和ReLU得到3个特征图{B,C,D}.shape∈(CxHxW),然后改变为C×N，其中N＝H×W；

(2)第二步，矩阵C和B的转置相乘，再通过softmax得到空间注意力模块S(N×N)；

(3)第三步，矩阵D和S的转置相乘，得到(CxHxW)再乘以尺度系数再改变为原来形状，最后与A相加得到最后的输出E其中α初始化为0，并逐渐的学习分配到更大的权重；可以看出E的每个位置的值是原始特征每个位置的加权求和得到；

所述通道注意力模块的获取步骤如下：

(1)第一步，在通道注意力模块中，分别对A做改变和调换顺序；

(2)第二步，将得到的两个特征图相乘再通过softmax得到通道注意力图X(C×C)；

(3)第三步，X与A做乘积再乘以尺度系数β再改变为原来形状，最后与A相加得到最后的输出E；其中β初始化为0，并逐渐的学习分配到更大的权重；

步骤S7利用YOLOv5进行边框回归，包括以下步骤：

(1)第一步，输入所述步骤S6获得的特征向量(P_x,P_y,P_w,P_h)；

(2)第二步，平移(Δx,Δy)，将窗口P变成窗口

Δx＝P_wd_x(P),Δy＝P_hd_y(P)

(3)第三步，尺度缩放(S_w,S_h)其中S_w＝exp(d_x(P))S_h＝exp(d_h(P))