[发明专利]一种面向行为时序的工作流程识别方法

说明书

本发明涉及一种面向行为时序的工作流程识别方法，属于计算机视觉技术领域。建立针对不同应用场景下工作行为动作标签库，并进行行为识别；构建轻量化多目标跟踪模型，并进行人物身份识别，对视频中的人物进行跟踪；将人的身份和行为进行绑定，获得身份绑定后的行为序列；建立工作内容训练标签库，使用时序模型对行为序列的工作内容进行检查，从而判断该行为序列的工作内容；建立工作流程检查库，将确定工作内容的行为序列与工作流程检查库中属于同一工作内容的流程序列进行匹配，判断该行为序列的工作流程是否符合标准规范。本发明通过建立不同目标及其行为的关系链，用于复杂视频场景中工作人员工作流程规范性的检查和判断。

技术领域

本发明属于计算机视觉技术领域，涉及一种面向行为时序的工作流程识别方法。

背景技术

近些年来，工作流程标准化对于行业应用来说越来越重要，工作流程标准化可以有效提高企业的工作水平，从而实现企业竞争力的提升。同时工作标准化可以提高员工的职业化水平，促进员工工作的标准化和规范化。在标准化和规范化的检测过程中，可结合自动化检测手段实现工作人员工作流程检测。

目前国内外针对工作流程的研究手段可以分为两种：一种是基于计算机视觉的研究手段，另外一种就是基于传感器以及语音的研究手段。

基于语音的方法，虽然说已经有了很多的方案，但是就其本身而言，涉及隐私性较高，而且容易受噪音等环境因素的影响，使用场景受到一定限制。

基于计算机视觉的方法，通过模型可以比较准确地对真实情况进行模拟，其得出的评价结果也较为准确。带来诸多好处的同时，其不足之处也越来越明显，随着自由度的提高，使得模型复杂度也呈数量级的增长，在评价过程中，计算量也越来越大。因此，此类方法在应用时具有较大的使用门槛，不具有普适性和便捷性。

发明内容

有鉴于此，本发明的目的在于提供一种面向时序的工作流程识别方法，对工作人员工作过程进行监测；设计了一种结合视频和文本的工作流程检测、识别方法。

为达到上述目的，本发明提供如下技术方案：

一种面向行为时序的工作流程识别方法，主要在多目标场景下对工作人员的工作进行流程检查，包括以下步骤：

S1：根据不同应用场景对工作流程规范性的不同需求，利用拍摄到的视频帧建立工作行为动作标签库，使用行为识别网络模型对视频帧进行行为识别；

S2：构建轻量化多目标跟踪模型，对视频中的人物进行跟踪；建立人脸库，对人物身份进行识别，以获取跟踪目标身份；

S3：通过人物跟踪框和行为识别框的重合度，将人的身份和行为进行绑定，获得身份绑定后的行为序列；

S4：建立工作内容训练标签库，使用时序模型完成对行为序列的工作内容检查从而判断身份绑定后行为序列的工作内容；

S5：建立工作流程检查库，将确定工作内容的行为序列与工作流程检查库中属于同一工作内容的流程序列进行匹配，判断该行为序列的工作流程是否符合标准规范。

进一步，步骤S2中，所述轻量化多目标跟踪网络模型的构建步骤如下：

S21：依据ShuffleNetV2网络结构，对Yolov5s的主干网络C3Net进行替换，得到轻量化的Yolov5s检测网络；

S22：将S21所述轻量化的Yolov5s检测网络替代DeepSORT的检测网络，形成轻量化改进后的DeepSORT网络，以提高检测和跟踪的实时性。将步骤S1中行为识别抽帧后的视频送入轻量化改进后的DeepSORT网络，对视频中不同目标进行跟踪，获得视频中每帧的跟踪框信息；

S23：步骤S22目标跟踪计算后，将跟踪视频帧送入人脸识别模型中，对每帧图像进行人脸识别，获取跟踪框的人物身份信息。