[发明专利]一种基于机器视觉技术的装配状态监控方法及系统

权利要求书

1.一种基于机器视觉技术的装配状态监控方法，所述方法运用于航空风扇转子装备过程，其特征在于，包括以下步骤：

步骤S1：周期性获取航空风扇转子在装配阶段的状态图片，对状态图片进行可视化操作以及预处理操作；

步骤S2：处理后的状态图片输入到识别模型内对所述状态图片中的航空风扇转子进行状态判断，获取当前航空风扇转子的状态阶段；

步骤S3：将当前航空风扇转子的状态阶段与当前航空风扇转子的装配阶段进行匹配，若不匹配，则提示当前航空风扇转子存在错误安装；

所述步骤S2中识别模板的训练过程如下：

步骤S21：拍摄多组不同装配阶段下航空风扇转子的图片；

步骤S22：对多组所述状态图片按照比例划分为训练集图片以及验证集图片；

步骤S23：将装配阶段标注在所述图片中；

步骤S24：对图片进行数据增强操作，其中所述数据增加操作包括对图片进行翻转、旋转、缩放、裁剪、平移和添加噪声；

步骤S25：将训练集图片以及验证集图片输入至识别模型中，获取特征向量，完成识别模板的训练；

所述步骤S25中选择YOLO模型作为识别模型获取训练集图片以及验证集图片中的特征向量，所述YOLO模型中设置有卷积注意力模块，所述卷积注意力模块设置于YOLO模型的backbone与neck之间；

其中所述卷积注意力模块包括CAM子模块以及SAM子模块，所述训练集图片以及验证集图片顺序经过所述CAM子模块与所述SAM子模块；

特征向量在所述CAM子模块内同时进行最大池化和平均池化，然后经过共享MLP，最后对共享MLP输出的特征向量进行逐元素加法并进行sigmoid函数激活，得到通道注意力Mc；

特征向量在SAM子模块内沿所述SAM子模块的通道方向顺序进行最大池化和平均池化，然后获取所述特征向量的中间向量，并对中间向量进行卷积操作，以卷积操作的结果作为sigmoid函数的精活输入，得到空间注意力MS。

2.根据权利要求1所述的一种基于机器视觉技术的装配状态监控方法，其特征在于，所述共享MLP中仅设置有一个隐层。

3.根据权利要求2所述的一种基于机器视觉技术的装配状态监控方法，其特征在于，对所述YOLO模型准确性判断的损失函数如下所示：

Loss＝λ₁GIOV+λ₂DIOV+λ₃CIOV；

其中所述λ₁、λ₂、λ₃为比例系数，λ₁、λ₂、λ₃满足以下关系λ₁+λ₂+λ₃＝1，GIOV为形状损失，DIOV为面积损失，CIOV为位置损失；

其中

其中

其中a为特征向量在状态图片中预测框的长度，b为特征向量在状态图片中预测框的宽度，c为YOLO模型内模板的长度，d为YOLO模型内模板的宽度，IOU为状态图片中预测框与模板的交并比，p²表示状态图片中预测框中心与模板中心的欧式距离，b^t，b^gt分别表示模板的中心和状态图片中预测框的中心，E表示状态图片中预测框与模板的最小包围框的最短对角线长度，β为正权重系数，v为长宽比一致性系数。

4.一种基于机器视觉技术的装配状态监控系统，使用权利要求1～3任一项所述一种基于机器视觉技术的装配状态监控方法，其特征在于，包括设备层、控制层以及模型层；

所述设备层设置有摄像设备，通过所述摄像设备周期性获取航空风扇转子在装配过程的状态图片，并将可视化后的状态图片发送给所述控制层；

所述控制层设置有展示设备，所述展示设备用于展示可视化的状态图片以及接收模型层的反馈；

所述模型层包括模型处理模块以及判断模块，所述模型处理模块用于识别状态图片中航空风扇转子的状态阶段，

所述判断模块用于获取航空风扇转子的状态阶段，并将当前航空风扇转子的状态阶段与当前航空风扇转子的装配阶段进行匹配，若不匹配，则反馈所述控制层当前航空风扇转子存在错误安装；

所述模型处理模块还包括模板训练子模块；

所述模板训练子模块用于：

拍摄多组不同装配阶段下航空风扇转子的图片；

对多组所述状态图片按照比例划分为训练集图片以及验证集图片；

将装配阶段标注在所述图片中；

对图片进行数据增强操作，其中所述数据增加操作包括对图片进行翻转、旋转、缩放、裁剪、平移和添加噪声；

将训练集图片以及验证集图片输入至识别模型中，获取特征向量，完成识别模板的训练；

模板训练子模块还包括模型子单元；

所述模型子单元选择YOLO模型作为识别模型获取训练集图片以及验证集图片中的特征向量，所述YOLO模型中设置有卷积注意力模块，所述卷积注意力模块设置于YOLO模型的backbone与neck之间；

其中所述卷积注意力模块包括CAM子模块以及SAM子模块，所述训练集图片以及验证集图片顺序经过所述CAM子模块与所述SAM子模块；

特征向量在所述CAM子模块内同时进行最大池化和平均池化，然后经过共享MLP，最后对共享MLP输出的特征向量进行逐元素加法并进行sigmoid函数激活，得到通道注意力Mc；

特征向量在SAM子模块内沿所述SAM子模块的通道方向顺序进行最大池化和平均池化，然后获取所述特征向量的中间向量，并对中间向量进行卷积操作，以卷积操作的结果作为sigmoid函数的精活输入，得到空间注意力MS。