[发明专利]三维肢体动作捕捉方法

说明书

三维肢体动作捕捉方法涉及机器视觉在人体运动识别的应用领域，尤其涉及肢体关节点的识别与三维重建时遮挡现象的解决。针对上述问题，本发明提出一种基于数学模型的算法，这个算法能够解决特定场景下三维肢体动作捕捉中的关节点遮挡问题，实现正常的肢体三维重建，并且该方法的准确性与鲁棒性能够达到到实际应用的要求。为实现上述目的，本发明使用如下技术方案，该方案包括以下步骤：该方案是在获取到彩色图片序列(或视频)、深度图片序列(或视频)之后进行的。因此在进行以下步骤前，已经准备好彩色图片序列(或视频)、深度图片序列(或视频)，前者保存在color文件夹中，后者保存在depth文件夹中。

技术领域

本发明涉及机器视觉在人体运动识别的应用领域，尤其涉及肢体关节点的识别与三维重建时遮挡现象的解决。

背景技术

随着社会的不断进步与科学技术的迅速发展，人工智能技术在人们生活中的应用也越来越广泛和深入。机器视觉，是人工智能领域内高速发展的分支之一，是一种能够主动、无接触地采集信息的交互方式。机器视觉应用在人体的关节识别与三维重建时，最常用的方法便是使用单目视觉匹配深度传感器或者使用双目视觉技术同时采集彩色图像与深度信息。

上述两种方法的采集过程中最为棘手的问题便是遮挡问题。被观测人体的动作、姿势都有可能会造成该人体的某些关节点被遮挡，从而导致被遮挡关节点的深度值无法检测到，三维重建信息缺失。目前对于关节点遮挡问题的解决要求，尤其是在需要知道关节点坐标的动作捕捉中，例如婴幼儿疾病的早期诊断，其解决方案的鲁棒性与准确性是特别重要的。

因此，研究一种准确度高、鲁棒性好的遮挡关节点处理方法是该领域亟待解决的问题。

发明内容

针对上述问题，本发明提出一种基于数学模型的算法，这个算法能够解决特定场景下三维肢体动作捕捉中的关节点遮挡问题，实现正常的肢体三维重建，并且该方法的准确性与鲁棒性能够达到到实际应用的要求。

为实现上述目的，本发明使用如下技术方案，该方案包括以下步骤：

该方案是在获取到彩色图片序列(或视频)、深度图片序列(或视频)之后进行的。因此在进行以下步骤前，已经准备好彩色图片序列(或视频)、深度图片序列(或视频)，前者保存在color文件夹中，后者保存在depth文件夹中。

步骤一：对color文件夹中彩色图片序列进行遍历，按遍历顺序识别每张图片中的二维关键点，使用该二维关节点在depth文件夹中所对应的深度图片中找到关键点的深度值，从而形成人体骨骼的三维关键点坐标序列。该步骤的输出是每张图片所对应的关键点坐标序列。为每个关键点坐标序列按照图片对应顺序标记序号之后保存为pose.csv文件；

步骤二：对pose.csv文件中全部坐标序列进行遍历，寻找四个重要常量值与两个重要深度值并保存。四个重要常量值分别是：肩部关节点与肘部关节点欧氏距离、肘部关节点与腕部关节点欧氏距离、臀部关节点与膝部关节点欧氏距离、膝部关节点与踝部关节点欧氏距离；两个重要深度值分别是：肩部关节点深度值、臀部关节点深度值。

步骤三：对pose.csv文件中保存的全部坐标序列进行再次遍历，使用遮挡判据检测是否存在肢体关节点遮挡现象，并且将存在肢体关节点遮挡现象的关节点序列的序号记录并保存；

步骤四：根据记录的序号遍历存在肢体关节点遮挡现象的关键点序列，通过遮挡计算方程计算被遮挡关节点的正确深度值；

遮挡计算方程：

三关节肢体几何模型中(图3)

当使用该模型计算手臂肢体时：