[发明专利]工序识别方法、装置、电子设备和存储介质

说明书

本发明提供一种工序识别方法、装置、电子设备和存储介质，所述方法包括：从图像帧集合中确定待识别图像帧；按照预设时间间隔，从目标图像帧集合中抽取配对图像帧，并将各配对图像帧与待识别图像帧组合成图像对；目标图像帧集合为图像帧集合中时刻位于待识别图像帧之前的图像帧集合；对各图像对以及各图像对的差分图像进行拼接，得到时序状态图像，并将时序状态图像输入至工序识别模型，得到工序识别模型输出的工序识别结果。本发明能够准确获取持续时长不固定且波动较大的工序前后的关键特征变化，准确得到工序识别结果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种工序识别方法、装置、电子设备和存储介质。

背景技术

工艺和工序是现代化工业生产链路的基本组成单元，在整个制造环节里，从零部件的生产、焊接、打磨、抛光、电镀到大型成品的成型、装配、调试等，一个产品的生产周期必然包含数十甚至上百道工序环节。随着人工智能应用的发展，对生产工序的智能识别和实时监控不仅对工艺人员分析工序时长和设备能耗有极大的帮助，还对推动产品的标准化制造链路有着积极的推动作用。

目前，多利用两类视觉算法对工序的识别，一类是基于图像中关键特征进行检测或者使用其他方法提取关键特征再分类的方法，另一类是基于视频流使用视频分类或检测的方法进行工序识别。然而，上述方法适用于对持续时长较短且时间波动较小的事件进行识别和分析，例如针对人体动作姿态的视频识别方案、影视剧片头片尾的自动打标方案等，但面对时长变化较大、视觉流程复杂的工序识别问题，精度较低。

发明内容

本发明提供一种工序识别方法、装置、电子设备和存储介质，用以解决现有技术中工序识别精度较低的缺陷。

本发明提供一种工序识别方法，包括：

从图像帧集合中确定待识别图像帧；

按照预设时间间隔，从目标图像帧集合中抽取配对图像帧，并将各配对图像帧与所述待识别图像帧组合成图像对；所述目标图像帧集合为所述图像帧集合中时刻位于所述待识别图像帧之前的图像帧集合；

对各图像对以及各图像对的差分图像进行拼接，得到时序状态图像，并将所述时序状态图像输入至工序识别模型，得到所述工序识别模型输出的工序识别结果；

其中，所述工序识别模型是基于样本时序状态图像以及样本工序类别标签训练得到的，所述样本时序状态图像是对样本图像对以及样本图像对的样本差分图像进行拼接后得到的；所述工序识别模型用于对所述时序状态图像进行注意力计算，得到注意力掩码，并基于所述注意力掩码得到所述工序识别结果。

根据本发明提供的一种工序识别方法，所述将所述时序状态图像输入至工序识别模型，得到所述工序识别模型输出的工序识别结果，包括：

将所述时序状态图像输入至所述工序识别模型的特征提取层，由所述特征提取层对各图像对进行特征提取，得到所述特征提取层输出的图像对特征；

将所述时序状态图像输入至所述工序识别模型的注意力层，由所述注意力层对各图像对的差分图像进行注意力计算，得到所述注意力层输出的注意力掩码；

将所述图像对特征以及所述注意力掩码输入至所述工序识别模型的特征融合层，得到所述特征融合层输出的融合特征；

将所述融合特征输入至所述工序识别模型的工序识别层，得到所述工序识别层输出的所述工序识别结果。

根据本发明提供的一种工序识别方法，在得到所述工序识别模型输出的工序识别结果之后，还包括：

若存在预设数量连续待识别图像帧的工序识别结果均为目标工序，则以所有连续待识别图像帧的平均时间作为所述目标工序的工序时间。

根据本发明提供的一种工序识别方法，所述样本时序状态图像包括正样本时序状态图像；所述正样本时序状态图像是基于如下步骤确定的：