[发明专利]运动对象动作识别方法、装置及设备、非易失性存储介质

说明书

本申请公开了一种运动对象动作识别方法、装置及设备、非易失性存储介质。其中，该方法包括：获取运动对象动作图像；对上述运动对象动作图像进行分析，得到运动对象关节点序列；从上述运动对象关节点序列中提取运动对象动作的时空动态特征；基于上述时空动态特征对上述运动对象动作进行识别。本申请解决了相关技术中识别行人动作时忽略了有间隔的、非直接相连的关节点之间的依赖关系，导致识别结果不准确的技术问题。

技术领域

本申请涉及行为识别技术领域，具体而言，涉及一种运动对象动作识别方法、装置及设备、非易失性存储介质。

背景技术

现如今，深度学习技术被广泛应用到各个领域中，在计算机视觉领域中，动作识别任务是从静态视觉到动态视觉发展迈出的第一步，行人骨架(Skeleton)数据最大的特点在于它是一种非欧空间的图数据，只有特定关节点(Joint)之间有骨骼(Bone)链接。

而由于行人骨架(Skeleton)数据对视角、遮挡、光照等各种复杂的应用场景很强的鲁棒性，基于关节点的行人动作识别一直被认为是一个非常有前景和潜力的研究课题。现有方法主要应用基于图卷积神经网络(GCN)的方法进行动作识别，侧重于对图的拓扑结构的学习，学习图数据中直接相连的节点之间的关系(如手腕和手指)，而忽略了有间隔的、非直接相连的节点之间的依赖关系(如手和脚)，但是，在人的动作中，手和脚往往是有很强的相关性的，这部分信息在识别行人动作时是非常关键的。并且基于图卷积神经网络(GCN)的方法所应用模型参数量多，计算量大，不利于实际应用部署。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种运动对象动作识别方法、装置及设备、非易失性存储介质，以至少解决相关技术中识别行人动作时忽略了有间隔的、非直接相连的关节点之间的依赖关系，导致识别结果不准确的技术问题。

根据本申请实施例的一个方面，提供了一种运动对象动作识别方法，包括：获取运动对象动作图像；对上述运动对象动作图像进行分析，得到运动对象关节点序列；从上述运动对象关节点序列中提取运动对象动作的时空动态特征；基于上述时空动态特征对上述运动对象动作进行识别。

根据本申请实施例的另一方面，还提供了一种运动对象动作识别方法，包括：获取运动对象动作图像；对上述运动对象动作图像进行分析，得到运动对象关节点序列；将上述运动对象关节点序列设置为时空图卷积网络模型的输入参数，输出运动对象动作的识别结果，其中，上述时空图卷积网络模型包括：多层时空图卷积计算单元，上述多层时空图卷积计算单元用于从上述运动对象关节点序列中提取上述运动对象动作的时空动态特征，上述时空动态特征用于预测上述识别结果。

根据本申请实施例的另一方面，还提供了一种运动对象动作识别方法，包括：响应客户端接收到的控制操作，获取动作识别请求，其中，上述动作识别请求中携带的信息包括：待识别的运动对象动作图像；基于上述动作识别请求，在上述客户端上调用服务端的软件服务对上述运动对象动作图像进行分析以得到运动对象关节点序列，并对上述运动对象关节点序列进行动作识别，得到运动对象动作的识别结果，其中，上述软件服务用于提供时空图卷积网络模型，上述时空图卷积网络模型包括：多层时空图卷积计算单元，上述多层时空图卷积计算单元用于从上述运动对象关节点序列中提取上述运动对象动作的时空动态特征，上述时空动态特征用于预测上述识别结果。

根据本申请实施例的另一方面，还提供了一种运动对象动作识别方法，包括：接收来自于客户端的动作识别请求，其中，上述动作识别请求中携带的信息包括：待识别的运动对象动作图像；基于上述动作识别请求，调用服务端上的软件服务对上述运动对象动作图像进行分析以得到运动对象关节点序列，并对上述运动对象关节点序列进行动作识别，得到运动对象动作的识别结果，其中，上述软件服务用于提供时空图卷积网络模型，上述时空图卷积网络模型包括：多层时空图卷积计算单元，上述多层时空图卷积计算单元用于从上述运动对象关节点序列中提取上述运动对象动作的时空动态特征，上述时空动态特征用于预测上述识别结果；将上述识别结果反馈至上述客户端。