[发明专利]一种多目标动作捕抓骨骼关键点跟踪方法

说明书

一种多目标动作捕抓骨骼关键点跟踪方法，包括：S1、通过若干Azure kinect采集目标物的不同角度的深度图像信息，并将深度图像信息转换成三维点云数据，得到不同角度的三维点云数据，其中深度图像信息包括人体的各骨骼关键点；S2、将不同角度的三维点云数据转换到同一坐标系下，并进行数据融合，得到融合点云数据；S3、采用改进的平方根无迹卡尔曼滤波对人体各骨骼关键点进行实时跟踪，利用平滑算法将平方根无迹卡尔曼滤波作为前向滤波算法得到的目标状态估计向后平滑，得到前一时刻目标状态估计，再利用该状态估计值进行再次滤波得到当前时刻目标状态估计，得到当前时刻人体各骨骼关键点的位置信息。本发明旨在解决现有人体骨骼的跟踪存在丢失目标的问题。

技术领域

本发明属于目标跟踪技术领域，尤其涉及一种多目标动作捕抓骨骼关键点跟踪方法。

背景技术

目前主流的人体姿态估计算法可以划分为传统方法和基于深度学习的方法。传统方法一般是基于图结构和形变部件模型，设计2D人体部件检测器，使用图模型建立各部件的连通性，并结合人体运动学的相关约束不断优化图结构模型来估计人体姿态。传统方法虽然拥有较高的时间效率，但是由于其提取的特征主要是人工设定的HOG(HistogramofOriented Gradient，方向梯度直方图)和SHIFT(Scale Invariant Fea-ture Transform，尺度不变特征转换)特征。无法充分利用图像信息，导致算法受制于图像中的不同外观、视角、遮挡和固有的几何模糊性。同时，由于部件模型的结构单一，当人体姿态变化较大时，部件模型不能精确地刻画和表达这种形变，同一数据存在多个可行的解，即姿态估计的结果不唯一，导致传统方法适用范围受到很大限制。

基于深度学习的方法来研究人体姿态估计，其中单人2D人体姿态估计的相关算法是其他姿态估计方法的基础和核心。在具体的网络模型构建上，检测人体关节点2D坐标的一个关键问题就是如何使网络学习到各部件的纹理特征信息和部件间的语义结构信息，并用端对端的方式进行训练。CoordinateNet采用多分辨率提取行图像特征和多阶段回归关节点坐标等方法，学习到了关节点丰富的纹理信息，得到了一定精度的位置坐标，但是这种直接回归坐标的方式没有很好地学习到人体的结构信息。Heatmap Net在借鉴了Coordinate Net的同时，通过构建概率图模型或者利用多尺度感受野学习到了重要的关节点结构信息，并结合多阶段的网络级联和中继训练等trick得到了较高的关节点检测精度。近期的大部分方法都是基于heatmap的检测模型，为了得到更好的效果，有一些方法尝试了检测与回归的混合模型，例如将Heatmap Net和Coordinate Net的结构进行组合，进行交互式和端到端的训练，但是为了得到质量较高的heatmap，模型往往采用很大的卷积核以及很深的网络，导致效率难以提升，同时朴素的卷积操作会得到大量噪声特征，这些可能需要借助于机器学习的其他方法加以解决。同时由于跟踪目标的外观变化、尺寸变化、物体遮挡、运动模糊、跟踪背景干扰等因素的影响，现有方法的效果仍未达到理想状态，会存在姿势关键点遮挡严重，且关键点之间关系难以定义，对人体骨骼的跟踪存在丢失目标的问题。

发明内容

本发明的目的在于提供一种多目标动作捕抓骨骼关键点跟踪方法，旨在解决现有人体骨骼的跟踪存在丢失目标的问题。

本发明是通过以下技术方案实现的：

一种多目标动作捕抓骨骼关键点跟踪方法，包括以下步骤：

S1、通过若干Azure kinect采集目标物的不同角度的深度图像信息，并将得到的深度图像信息转换成三维点云数据，得到不同角度的三维点云数据，其中深度图像信息包括人体的各骨骼关键点；

S2、将不同角度的三维点云数据转换到同一坐标系下，并进行数据融合，得到融合点云数据；

S3、根据预设计算规则对融合点云数据进行处理，得到当前时刻人体各骨骼关键点的位置信息：

S31、在直角坐标系下，建立目标运动模型，模型系统的状态变量为：