[发明专利]动作识别方法、装置、电子设备及存储介质

说明书

本申请提供了一种动作识别方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取待处理图片；对所述待处理图片进行特征提取，以得到与所述待处理图片对应的第一模态的数据；以及利用第一神经网络模型，对所述第一模态的数据进行动作识别，确定所述待处理图片的动作类型，其中，所述第一神经网络模型是使用与所述第一模态不同的第二模态的数据利用第二神经网络进行训练得到的。根据该动作识别方法，能够克服由于模型训练阶段和模型测试阶段之间的数据模态差异而带来的限制，增强了模型的鲁棒性，进一步提高了识别的准确率。

技术领域

本申请涉及图像处理与计算机视觉领域技术领域，尤其涉及动作识别方法、装置、设备及计算机可读存储介质。

背景技术

在人工智能领域，以人体动作识别为代表的计算机视觉是近年发展最快的方向之一，其主要研究的是通过接收计算机采集的各种数据(声音、图片或视频)，并经过一系列复杂的算法加以分析和处理，最终得到并理解这些数据中的信息。近些年，越来越多的深度学习算法被应用于动作识别，使得其精度提升迅速。

例如，在专利文献1(CN109460707A)中，公开了一种基于深度神经网络的多模态动作识别方法，将基于视频的相邻帧而获取的光流图、骨架路径积分特征以及原始的视频图像一并输入到具有多分枝结构的深度神经网络中，令其学习关于人体动作的抽象时空表征，并正确判断其动作类别。并且，在视频图像支路中接入了基于注意力机制的采样(pooling)层，以强化与最终动作分类结果息息相关的抽象特征，减少无关干扰。

另外，韩敏捷在其硕士学位论文“基于深度学习框架的多模态动作识别”中提出一种基于深度神经网络的多模态动作识别方法，其根据不同模态信息的特性分别采用不同的深度神经网络，并且结合微软Kinect的多传感器摄像机获得传统视频信息的同时也能获取对应的深度骨骼点信息。而且，将用于静态信息的卷积神经网络模型和用于动态信息的递归循环神经网络模型所分别获取的特征相融合进行动作识别和分类，结果证明，该方法对动作识别具有良好的分类效果。

发明内容

然而，对于现有技术中存在的一些动作识别方法以及构建动作识别模型技术方案，其采用在现有的人工智能中学习的方式对动作模型进行训练，但是这些动作识别系统在数据采集装置更新或者升级(例如，增加了传感器等)后，如何便捷地对更新或升级后的动作识别系统进行训练，是目前需要解决的技术问题。

本申请的目的在于提供动作识别方法、装置、电子设备及计算机可读存储介质，增强了模型的鲁棒性，提高了动作识别的准确率。

本申请的目的采用以下技术方案实现：

第一方面，本申请提供了一种动作识别方法，所述方法包括：获取待处理图片；对所述待处理图片进行特征提取，以得到与所述待处理图片对应的第一模态的数据；以及利用第一神经网络模型，对所述第一模态的数据进行动作识别，确定所述待处理图片的动作类型，其中，所述第一神经网络模型是使用与所述第一模态不同的第二模态的数据利用第二神经网络进行训练得到的。该动作识别方法是基于跨模态采集的动作识别方法，该技术方案的有益效果在于，克服了由于模型训练阶段和模型测试阶段之间的数据模态差异而带来的限制，增强了模型的鲁棒性，进一步提高了识别的准确率。

在一些可选的实施例中，对于所述动作识别方法，利用摄像头获得所述第一模态的数据，利用传感器获得所述第二模态的数据。该技术方案的有益效果在于，利用了不同模态的数据，从而避免被例如具有视频数据和传感器数据的模型训练阶段数据与仅具有视频数据的模型测试阶段数据之间的差异所限制。

在一些可选的实施例中，对于所述动作识别方法，所述第二神经网络是时空图卷积网络。该技术方案的有益效果在于，增强了模型的鲁棒性，提高了动作识别的准确率。