[发明专利]动作识别方法、装置、电子设备及存储介质

权利要求书

1.一种动作识别方法，其特征在于，所述方法包括：

获取待处理图片；

对所述待处理图片进行特征提取，以得到与所述待处理图片对应的第一模态的数据；以及

利用第一神经网络模型对所述第一模态的数据进行动作识别，确定所述待处理图片的动作类型，

其中，所述第一神经网络模型是使用与所述第一模态不同的第二模态的数据利用第二神经网络进行训练得到的。

2.根据权利要求1所述的动作识别方法，其特征在于，所述方法还包括：

利用摄像头获得所述第一模态的数据，利用传感器获得所述第二模态的数据。

3.根据权利要求1或2所述的动作识别方法，其特征在于，

所述第二神经网络是时空图卷积网络。

4.根据权利要求3所述的动作识别方法，其特征在于，

在对所述第一神经网络模型的训练中，基于作为所述第二模态的数据的人体关键点数据采用非局部运算方式进行训练。

5.根据权利要求1或2所述的动作识别方法，其特征在于，

所述待处理图片是以等间隔采样的方式获得的由摄像头拍摄的视频中的特定帧的图片。

6.根据权利要求5所述的动作识别方法，其特征在于，所述对所述待处理图片进行特征提取，包括：

对来自RGB视频的所述待处理图片进行特征提取；

所述利用第一神经网络模型，对所述第一模态的数据进行动作识别，包括：

利用作为所述第一神经网络模型的时间转换模块，对所述第一模态的数据进行动作识别。

7.根据权利要求1或2所述的动作识别方法，其特征在于，

在采用所述第二模态的数据对所述第一神经网络模型进行训练时，利用所述第二模态的数据使用训练好的所述第二神经网络进行预测而得到预测标注，将所述预测标注与预先确定的真实标注进行结合，得到用于监督所述第一神经网络模型的软标签。

8.一种动作识别装置，其特征在于，所述装置包括：

图片获取模块，用于获取待处理图片；

特征提取模块，用于对所述待处理图片进行特征提取，以得到与所述待处理图片对应的第一模态的数据；以及

动作计算模块，用于利用第一神经网络模型，对所述第一模态的数据进行动作识别，确定所述待处理图片的动作类型，

其中，所述第一神经网络模型是使用与所述第一模态不同的第二模态的数据利用第二神经网络进行训练得到的。

9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7任一项所述方法的步骤。

10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述方法的步骤。