[发明专利]一种货车图像自动识别方法及识别系统

权利要求书

1.一种货车图像自动识别方法，其特征在于，该方法包括以下步骤：

步骤一、在货车轨道周围搭建成像设备，对运行的货车进行拍摄，获取线阵图像，对线阵图像中相同工位进行拼接，获得每种工位的拼接图像；

将所有工位的拼接图像进行拼接，恢复成连续图像；

将连续图像按固定宽度，切分为多个小图像，相邻小图像之间留有重叠区域；

步骤二、将拆分后的小图像输入预先建立的定位网络模型U-Mask-RCNN进行训练，得到训练好的定位网络模型U-Mask-RCNN；

步骤三、将待测货车图像输入训练好的定位网络模型U-Mask-RCNN，对待测图像中各部件进行定位，输出待测图像中各部件的类别Class、位置Box和各部件的分割结果Mask，得到待测图像中各部件的子图；

步骤四、对骤三得到的待测图像中各部件的子图进行货车故障识别，获得识别结果；

所述步骤二中的定位网络模型U-Mask-RCNN包括卷积块C1、卷积块C2、卷积块C3、卷积块C4、卷积块C5、RPN、ROIAlign；

卷积块C1的输出连接卷积块C2的输入，卷积块C2的输出连接卷积块C3的输入，卷积块C3的输出连接卷积块C4的输入，卷积块C4的输出连接卷积块C5的输入，卷积块C5的输出连接RPN，RPN连接ROIAlign；

所述步骤二中将拆分后的小图像输入预先建立的定位网络模型U-Mask-RCNN进行训练，得到训练好的定位网络模型U-Mask-RCNN；具体过程为：

拆分后的小图像输入定位网络模型U-Mask-RCNN中的卷积块C1，经过卷积块C1处理完成特征图的下采样，卷积块C1输出特征图输入卷积块C2，经过卷积块C2处理完成特征图的下采样，卷积块C2输出特征图输入卷积块C3，经过卷积块C3处理完成特征图的下采样，卷积块C3输出特征图输入卷积块C4，经过卷积块C4处理完成特征图的下采样，卷积块C4输出特征图输入卷积块C5，经过卷积块C5处理完成特征图的下采样，卷积块C5输出特征图；

对卷积块C2输出特征图进行1×1的卷积得到特征图P^0,0；

对特征图P^0,0进行1×1的卷积得到特征图P^0,1；

对特征图P^0,0进行1×1的卷积得到A，对特征图P^0,1进行1×1的卷积得到B，将A和B融合得到特征图P^0,2；

对特征图P^0,0进行1×1的卷积得到A，对特征图P^0,1进行1×1的卷积得到B，对特征图P^0,2进行1×1的卷积得到C；

对卷积块C3输出特征图进行1×1的卷积得到特征图P^1,0；

对特征图P^1,0进行1×1的卷积得到特征图P^1,1；

对特征图P^1,0进行1×1的卷积得到D，对特征图P^1,1进行1×1的卷积得到E；

对卷积块C4输出特征图进行1×1的卷积得到特征图P^2,0；

对特征图P^2,0进行1×1的卷积得到特征图F；

对卷积块C5输出特征图进行1×1的卷积得到特征图P^3,0；

对特征图P^3,0进行反卷积操作得到特征图的上采样结果G，将G与F融合得到特征图P^2,1；

对特征图P^2,1进行反卷积操作得到特征图的上采样结果H，将D、E和H融合得到特征图P^1,2；

对特征图P^1,2进行反卷积操作得到特征图的上采样结果I，将A、B、C和I融合得到特征图P^0,3；

将特征图P^0,3输入RPN层，将RPN层输出输入ROIAlign，得到特征图J；

将特征图P^1,2输入RPN层，将RPN层输出输入ROIAlign，得到特征图K；

将特征图P^2,1输入RPN层，将RPN层输出输入ROIAlign，得到特征图L；

将特征图P^3,0输入RPN层，将RPN层输出输入ROIAlign，得到特征图M；

将特征图J、特征图K、特征图L和特征图M进行特征融合，输出图像中目标的类别Class、位置Box和目标的分割结果Mask；

利用输出的类别Class、位置Box和分割结果Mas调整定位网络模型U-Mask-RCNN的参数，直至收敛，得到训练好的定位网络模型U-Mask-RCNN。