[发明专利]一种面向行为时序的工作流程识别方法

权利要求书

1.一种面向行为时序的工作流程识别方法，主要是在多目标场景下对工作人员的工作进行流程检查，包括以下步骤：

S1：根据不同应用场景对工作流程规范性的不同需求，利用拍摄到的视频帧建立工作行为动作标签库，使用行为识别网络模型对视频帧进行行为识别；

S2：构建轻量化多目标跟踪模型，对视频中的人物进行跟踪；建立人脸库，对人物身份进行识别，以获取跟踪目标身份；

S3：通过人物跟踪框和行为识别框的重合度，将人的身份和行为进行绑定，获得身份绑定后的行为序列；

S4：建立工作内容训练标签库，使用时序模型完成对行为序列的工作内容检查从而判断身份绑定后行为序列的工作内容；

S5：建立工作流程检查库，将确定工作内容的行为序列与工作流程检查库中属于同一工作内容的流程序列进行匹配，判断该行为序列的工作流程是否符合标准规范。

2.根据权利要求1所述的面向行为时序的工作流程识别方法，其特征在于：步骤S2中，所述轻量化多目标跟踪网络模型的构建步骤如下：

S21：依据ShuffleNetV2网络结构，对Yolov5s的主干网络C3Net进行替换，得到轻量化的Yolov5s检测网络；

S22：将步骤S21所述轻量化的Yolov5s检测网络替代DeepSORT的检测网络，形成轻量化改进后的DeepSORT网络；将步骤S1中行为识别抽帧后的视频送入轻量化改进后的DeepSORT网络，对视频中不同目标进行跟踪，获得每个视频帧的跟踪框信息；

S23：步骤S22目标跟踪计算后，将跟踪视频帧送入人脸识别模型中，对每帧图像进行人脸识别，获取跟踪框的人物身份信息。

3.根据权利要求2所述的面向行为时序的工作流程识别方法，其特征在于：步骤S21中，所述轻量化的Yolov5s检测网络具体包括：

S211：将视频帧依次输入，检测网络需对每一帧图像进行resize；并通过Focus方法将帧图像处理为特征图1；

S212：按步长stride＝1，卷积核kernel_size＝1*1的卷积进行特征提取，输出卷积后的特征图2；

S213：第一阶段：采用SH-b模块对空间维度进行下采样操作，提取深层次特征，按步长stride＝2，卷积核kernel_size＝3*3的DWConv进行采样，输出特征图3；然后将SH-b获得的特征图作为SH-a特征提取模块的输入，按步长stride＝1，卷积核kernel_size＝3*3的DWConv进行特征提取，输出特征图4；

S214：第二阶段：将特征图4作为输入，采用SH-b模块对空间维度进行下采样，按步长stride＝2，卷积核kernel_size＝3*3的DWConv进行采样，经过第二阶段的SH-b得到特征图5；连续进行三次SH-a操作，均按步长stride＝1，卷积核kernel_size＝3*3的DWConv进行特征提取，经过第二阶段获得的特征图6；

S215：第三阶段：首先将经过第二阶段获得的特征图6作为第三阶段的输入特征图，将特征图6经过SH-b对空间维度进行下采样，降低图像的分辨率，采用步长stride＝2，卷积核kernel_size＝3*3的DWConv进行采样，输出特征图7；随后采用连续三次的SH-a进行特征提取，按照步长stride＝1，卷积核kernel_size＝3*3的DWConv进行特征提取，输出特征图8；

S216：第四阶段：首先将经过第三阶段获得的输出特征图8作为第四阶段的输入特征图，将输入的特征图8经过SH-b进行下采样操作，按步长stride＝2，卷积核kernel_size＝3*3的DWConv进行采样，降低图像的分辨率，提高感受野，最终输出特征图9；

S217：采用SPP方法，按照不同大小的池化核进行三种不同MaxPool，输出特征图10；

S218：通过SH-a进行特征提取，按照步长stride＝1，卷积核kernel_size＝3*3的DWConv进行特征提取，输出特征图11；

S219：最后利用特征图6、8、11完成融合和检测。