[发明专利]动作识别方法及装置

权利要求书

1.一种动作识别方法，其特征在于，包括：

获取包括目标物体的第一图像；

确定所述第一图像中所述目标物体的动作信息；

计算所述第一图像中所述目标物体的光流类型；其中，所述光流类型包括：运动类型、静止类型或者无光流类型；

根据所述动作信息和所述光流类型，确定所述目标物体的动作。

2.根据权利要求1所述的方法，其特征在于，

所述目标物体为教室内的学生；

所述目标物体的动作包括：起立和坐下。

3.根据权利要求2所述的方法，其特征在于，所述确定所述第一图像中所述目标物体的动作信息，包括：

将所述第一图像输入机器学习模型，得到所述机器学习模型所输出的所述目标物体的动作信息，以及所述第一图像中所述目标物体的特征区域。

4.根据权利要求3所述的方法，其特征在于，所述机器学习模型包括：

空间注意力模块，用于提取所述第一图像中，所述目标物体边缘与周围物体的空间关联特征；

跨阶段部分模块CSP，用于提供所述机器学习模型的基础网络Backbone，提取所述第一图像的Backbone特征；

特征金字塔网络模块FPN，用于将所述CSP提取的Backbone特征与Backbone网络的第一深层特征相融合，得到多尺度特征；

路径增强网络模块PAN，用于将FPN得到的多尺度特征与所述Backbone网络的第二深层特征相融合；

检测头模块Yolo，用于根据所述FPN和PAN融合后的特征，学习并解析出所述第一图像中，目标物体的动作信息、所述特征区域以及置信度信息。

5.根据权利要求3或4所述的方法，其特征在于，所述计算所述第一图像中所述目标物体的光流类型，包括：

确定所述第一图像中所述目标物体的特征区域内，多个特征点的光流长度和光流方向；

根据所述第一图像中多个特征点的光流长度和光流方向，以及第二图像中多个特征点的光流长度和光流方向，确定所述目标物体的光流类型；其中，所述第二图像为所述第一图像前一帧的图像。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一图像中多个特征点的光流长度和光流方向，以及第二图像中多个特征点的光流长度和光流方向，确定所述目标物体的光流类型，包括：

从所述多个特征点中，确定在所述第一图像和在所述第二图像中水平方向上光流长度之差，小于竖直方向上光流长度之差，且竖直方向上光流值之差小于第一预设阈值的负数的第一特征点；

从所述多个特征点中，确定在所述第一图像和在所述第二图像中水平方向上光流长度之差，小于竖直方向上光流长度之差，且竖直方向上光流值之差大于第一预设阈值的第二特征点；

从所述多个特征点中，确定在所述第一图像和在所述第二图像中竖直方向上光流长度之差，小于水平方向上光流长度之差，且水平方向上光流值之差大于第一预设阈值的第三特征点；

当所述第一特征点、所述第二特征点和所述第三特征点的数量之和大于第二预设阈值，则确定所述目标物体的光流为运动类型、当所述第一特征点、所述第二特征点和所述第三特征点的数量之和小于所述第二预设阈值，则确定所述目标物体的光流为静止类型、当确定所述第一图像中不包括所述特征点时，则确定所述目标物体的光流为无光流类型。