[发明专利]一种装卸车鹤管状态识别方法和系统

权利要求书

1.一种装卸车鹤管状态识别方法，其特征在于，包括以下步骤：

获取鹤管图像历史数据，构建鹤管图像数据集；所述数据集包括鹤管类别的第一数据集和不同类别鹤管检测部位的第二数据集；

构建用于鹤管类别识别的第一检测网络模型；采用第一数据集对所述第一检测网络模型进行训练；构建用于鹤管部位识别的第二检测网络模型，采用第二数据集对所述第二检测网络模型进行训练；

采用训练后的第一检测网络模型对待识别鹤管图像进行鹤管类别预测；采用训练后的第二检测网络模型对预测到鹤管类别的图像进行鹤管部位预测；对鹤管类别预测结果和鹤管部位预测结果进行分析得到当前鹤管的使用状态。

2.根据权利要求1所述的一种装卸车鹤管状态识别方法，其特征在于，所述获取鹤管图像历史数据，构建鹤管图像数据集的过程包括：

获取装卸车区域内的监控设备采集的不同时间段的视频流；

采用视频抽帧的方法对收集到的视频流处理得到鹤管图像；

对所述鹤管图像中鹤管的类别进行一次标注得到第一数据集；在对鹤管类别一次标注完成后再对鹤管部位进行二次标注形成第二数据集；

将所述第一数据集按照预设比例划分为第一训练集、第一验证集和第一测试集；将所述第二数据集按照预设比例划分为第二训练集、第二验证集和第二测试集。

3.根据权利要求2所述的一种装卸车鹤管状态识别方法，其特征在于，对所述鹤管图像中鹤管类别进行一次标注包括：根据鹤管图像中鹤管的安装位置和粗细标注为顶部鹤管、粗底部鹤管和细底部鹤管；

在对鹤管的类别一次标注完成后再对鹤管的部位进行二次标注包括：分别对顶部鹤管、粗底部鹤管和细底部鹤管的检测部位标注为鹤管管头、鹤管管尾和鹤管拐角。

4.根据权利要求3所述的一种装卸车鹤管状态识别方法，其特征在于，

所述采用第一数据集对所述第一检测网络模型进行训练的过程包括：采用第一训练集对所述第一检测网络模型进行训练；

所述采用第二数据集对所述第二检测网络模型进行训练的过程包括：采用第二训练集对所述第二检测网络模型进行训练。

5.根据权利要求1所述的一种装卸车鹤管状态识别方法，其特征在于，所述第一检测网络模型采用在yolov5算法中添加注意力机制；所述注意力机制的原理为：第一数据集依次经过yolov5算法中Backbone层和Head层提取特征后得到预设大小的特征图；通过计算待识别鹤管图像中目标像素点与特征图中其它所有点之间的相互关系，利用所述相互关系对目标像素点的特征进行加权，以获取有效的目标像素点特征。

6.根据权利要求1所述的一种装卸车鹤管状态识别方法，其特征在于，所述第二检测网络模型采用Hrnet关键点检测算法；所述Hrnet关键点检测算法检测的过程为：提取不同检测部位相对应的部位特征图；部位特征图中最大特征值所在的对应位置作为鹤管管头、鹤管管尾和鹤管拐角的关键点。

7.根据权利要求5所述的一种装卸车鹤管状态识别方法，其特征在于，所述采用训练后的第一检测网络模型对待识别鹤管图像进行鹤管类别预测的过程包括：将待识别的鹤管图像输入到训练后的第一检测网络模型中，通过训练后的第一检测网络模型对待识别的鹤管图像进行特征提取和类别预测，得到待识别鹤管图像的鹤管类别。

8.根据权利要求7所述的一种装卸车鹤管状态识别方法，其特征在于，所述采用训练后的第二检测网络模型对预测到鹤管类别的图像进行鹤管部位预测的过程包括：将第一检测网络模型识别到的鹤管在原始待识别鹤管图像中的区域输入至第二检测网络模型中进行部位预测，得到鹤管不同部位的关键点坐标和类别信息。