[发明专利]基于多尺度特征的人类动作识别方法及系统

权利要求书

1.基于多尺度特征的人类动作识别方法，其特征是，包括：

利用卷积网络获取视频序列的空间特征；

针对空间特征在时间维度上取局部窗口，在局部窗口内进行计算获取基于初级局部特征的最大响应；

对基于初级局部特征的最大响应进行处理获得次级特征；

对于次级特征在时间维度上取局部窗口，在局部窗口内进行计算获取基于次级局部特征的最大响应；

对于基于初级局部特征的最大响应及基于次级局部特征的最大响应过加权融合的方式获得最终动作分类，所获得的特征对应着视频序列的短期、中期、长期特征。

2.如权利要求1所述的基于多尺度特征的人类动作识别方法，其特征是，利用卷积网络获取视频序列的空间特征，具体为：

对于含有T帧的视频序列，通过2D卷积神经网络对每一帧进行特征提取，获得T×HW维度的特征表示。

3.如权利要求1所述的基于多尺度特征的人类动作识别方法，其特征是，对于基于初级局部特征的最大响应进行移位操作，并进行self-attention计算，以扩大模型感受野。

4.如权利要求1所述的基于多尺度特征的人类动作识别方法，其特征是，利用第一层Swin Transformer单元对移位操作后的特征进行处理，生成的次级特征，对次级特征进行局部的特征融合，融合比例为N，则生成大小为T/N×HW维度特征。

5.如权利要求1所述的基于多尺度特征的人类动作识别方法，其特征是，对于次级特征，进行移位操作，并进行self-attention计算，以扩大模型感受野。

6.如权利要求1所述的基于多尺度特征的人类动作识别方法，其特征是，利用第二层Swin Transformer单元对移位操作后的特征进行处理，生成的次级特征，对次级特征进行局部的特征融合，融合比例为N，则生成大小为T/N²×HW维度特征。

7.如权利要求1所述的基于多尺度特征的人类动作识别方法，其特征是，对于不同层次的特征所对应的分类结果，采取加权方式融合，具体实现形式的数学表示为：

C＝argmax(softmax(R₁)+α·softmax(R₂)+β·softmax(R₃))。

8.基于多尺度特征的人类动作识别系统，其特征是，包括：

空间特征获取模块，被配置为：利用卷积网络获取视频序列的空间特征；

初级局部特征的最大响应获取模块，被配置为：针对空间特征在时间维度上取局部窗口，在局部窗口内进行计算获取基于初级局部特征的最大响应；

次级局部特征的最大响应获取模块，被配置为：对基于初级局部特征的最大响应进行处理获得次级特征；

对于次级特征在时间维度上取局部窗口，在局部窗口内进行计算获取基于次级局部特征的最大响应；

动作分类模块，被配置为：对于基于初级局部特征的最大响应及基于次级局部特征的最大响应过加权融合的方式获得最终动作分类，所获得的特征对应着视频序列的短期、中期、长期特征。

9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述权利要求1-7任一所述的方法的步骤。