[发明专利]工序识别方法、装置、电子设备和存储介质

权利要求书

1.一种工序识别方法，其特征在于，包括：

从图像帧集合中确定待识别图像帧；

按照预设时间间隔，从目标图像帧集合中抽取配对图像帧，并将各配对图像帧与所述待识别图像帧组合成图像对；所述目标图像帧集合为所述图像帧集合中时刻位于所述待识别图像帧之前的图像帧集合；

对各图像对以及各图像对的差分图像进行拼接，得到时序状态图像，并将所述时序状态图像输入至工序识别模型，得到所述工序识别模型输出的工序识别结果；

其中，所述工序识别模型是基于样本时序状态图像以及样本工序类别标签训练得到的，所述样本时序状态图像是对样本图像对以及样本图像对的样本差分图像进行拼接后得到的；所述工序识别模型用于对所述时序状态图像进行注意力计算，得到注意力掩码，并基于所述注意力掩码得到所述工序识别结果。

2.根据权利要求1所述的工序识别方法，其特征在于，所述将所述时序状态图像输入至工序识别模型，得到所述工序识别模型输出的工序识别结果，包括：

将所述时序状态图像输入至所述工序识别模型的特征提取层，由所述特征提取层对各图像对进行特征提取，得到所述特征提取层输出的图像对特征；

将所述时序状态图像输入至所述工序识别模型的注意力层，由所述注意力层对各图像对的差分图像进行注意力计算，得到所述注意力层输出的注意力掩码；

将所述图像对特征以及所述注意力掩码输入至所述工序识别模型的特征融合层，得到所述特征融合层输出的融合特征；

将所述融合特征输入至所述工序识别模型的工序识别层，得到所述工序识别层输出的所述工序识别结果。

3.根据权利要求1所述的工序识别方法，其特征在于，在得到所述工序识别模型输出的工序识别结果之后，还包括：

若存在预设数量连续待识别图像帧的工序识别结果均为目标工序，则以所有连续待识别图像帧的平均时间作为所述目标工序的工序时间。

4.根据权利要求1所述的工序识别方法，其特征在于，所述样本时序状态图像包括正样本时序状态图像；所述正样本时序状态图像是基于如下步骤确定的：

从样本视频中确定样本工序节点的前状态图像帧和后状态图像帧；

基于所述前状态图像帧和所述后状态图像帧，确定正样本差分图像；

对所述前状态图像帧、所述后状态图像帧和所述正样本差分图像进行拼接，得到所述正样本时序状态图像。

5.根据权利要求1所述的工序识别方法，其特征在于，所述图像帧集合是基于如下步骤确定的：

确定待识别视频，并按预设图像帧间隔对所述待识别视频中的各图像帧进行光流检测，得到各图像帧的变化系数；

在所述变化系数大于阈值时，将对应图像帧添加至所述图像帧集合。

6.根据权利要求1至5任一项所述的工序识别方法，其特征在于，所述样本时序状态图像包括负样本时序状态图像；所述负样本时序状态图像是基于如下步骤确定的：

从样本视频中滤除样本工序节点的前状态图像帧和后状态图像帧，得到样本视频帧集合；

从所述样本视频帧集合中随机抽取两张图像作为第一图像帧和第二图像帧；

基于所述第一图像帧和所述第二图像帧，确定负样本差分图像；

对所述第一图像帧、所述第二图像帧以及所述负样本差分图像进行拼接，得到所述负样本时序状态图像。

7.根据权利要求6所述的工序识别方法，其特征在于，所述样本视频包括所述样本工序节点的图像帧，或所述样本视频包括所述样本工序节点的图像帧和非样本工序节点的图像帧。