[发明专利]动作识别方法及装置

说明书

本申请提供一种动作识别方法及装置，能够基于图像对图像中的目标物体的动作信息和光流信息进行识别，并根据动作信息和光流信息共同确定目标物体的动作，在对学生起立和坐下动作进行识别时具有较高的准确度，减少了录播设备因误检导致的拍摄模式的错误切换，从而能够提高录播设备的使用效果和所录制的视频数据的观看体验。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种动作识别方法及装置。

背景技术

随着电子技术的不断发展，以及对教育的不断重视，通过电子设备实现的信息化教学成为了一种新的发展趋势，信息化教学最常见的一种方式是通过录播设备等装置，对教室内教师的授课过程进行录制，使得不在教室内的学生能够通过直播或录制的音频、视频数据观看授课内容。

录播设备所需要具有的一个重要功能是对学生的动作进行识别，主要涉及教室内学生起立和坐下的两个动作。则当学生起立回答问题时，录播设备能够识别出学生的动作是起立，可以采集该学生局部的特写视频数据，随后当学生回答完问题坐下，录播设备还能够识别出学生的动作是坐下，即可停止采集学生的特写视频数据，切换为采集教室整体的视频数据。

采用现有技术，录播设备对于学生起立、坐下的动作识别的准确率均较低，使得录播设备无法更加精准地采集学生起立回答问题的视频数据，降低录播设备的使用效果和录播设备所录制视频数据的观看体验。

发明内容

本申请提供一种动作识别方法及装置，以解决录播设备对于学生起立、坐下的动作识别的准确率均较低的问题，从而提高录播设备的使用效果和所录制的视频数据的观看体验。

本申请第一方面提供一种动作识别方法，包括获取包括目标物体的第一图像；确定所述第一图像中所述目标物体的动作信息；计算所述第一图像中所述目标物体的光流类型；其中，所述光流类型包括：运动类型、静止类型或者无光流类型；根据所述动作信息和所述光流类型，确定所述目标物体的动作。

在本申请第一方面一实施例中，所述目标物体为教室内的学生；所述目标物体的动作包括：起立和坐下。

在本申请第一方面一实施例中，所述确定所述第一图像中所述目标物体的动作信息，包括：将所述第一图像输入机器学习模型，得到所述机器学习模型所输出的所述目标物体的动作信息，以及所述第一图像中所述目标物体的特征区域。

在本申请第一方面一实施例中，所述机器学习模型包括：空间注意力模块，用于提取所述第一图像中，所述目标物体边缘与周围物体的空间关联特征；跨阶段部分模块CSP，用于提供所述机器学习模型的基础网络Backbone，提取所述第一图像的Backbone特征；特征金字塔网络模块FPN，用于将所述CSP提取的Backbone特征与Backbone网络的第一深层特征相融合，得到多尺度特征；路径增强网络模块PAN，用于将FPN得到的多尺度特征与所述Backbone网络的第二深层特征相融合；检测头模块Yolo，用于根据所述FPN和PAN融合后的特征，学习并解析出所述第一图像中，目标物体的动作信息、所述特征区域以及置信度信息。

在本申请第一方面一实施例中，所述计算所述第一图像中所述目标物体的光流类型，包括：确定所述第一图像中所述目标物体的特征区域内，多个特征点的光流长度和光流方向；根据所述第一图像中多个特征点的光流长度和光流方向，以及第二图像中多个特征点的光流长度和光流方向，确定所述目标物体的光流类型；其中，所述第二图像为所述第一图像前一帧的图像。