[发明专利]一种分关节的手部姿态估计方法

说明书

本发明提供分关节的手部姿态估计方法，包括：S1、准备数据集；S2、设计网络结构，将数据集中的图像数据输入到神经网络进行处理和融合重构；S3、设计损失函数；S4、构建网络并进行网络训练，网络使用python2.7基于tensorflow1.3构建，在配有GTX1080显卡的主机上进行训练和测试；S5、通过评价指标对测试结果进行分析；所述评价指标包括平均关节误差、正确检测帧比率以及平均检测速度。本发明依据手指功能区别设计了分手指、分关节的手部姿态估计网络结构，使手部姿态估计具有较高的准确度。

技术领域

本发明涉及计算机视觉的人手姿态估计技术领域，具体而言，尤其涉及 一种分关节的手部姿态估计方法。

背景技术

国内外研究人员在人手姿态估计问题上尝试了很多研究方案。从输入数 据类型角度分类，包括单幅彩色RGB图像，双目或多目立体视觉，直接采用 深度数据等。单幅彩色RGB图像缺少深度信息，获得的3D姿态估计结果准 确度低。利用双目或多目立体视觉可以重构出深度信息，但是数据采集系统 相对复杂，且易受到复杂光照影响，准确度不高。深度传感器为直接获取深 度信息提供了便利。以单帧深度数据作为输入时，可以将其看成图像，或转 换成点云表达，或转换成3D体素表达。点云以及3D体素比深度图像复杂， 以此为输入时，虽然可以提高3D姿态估计的准确度，但是往往需要借助非 常复杂的姿态估计模型，难以满足实时性的要求。

从视觉手部姿态估计方法的角度分类，大致可以分为基于生成式模型的 方法和基于数据学习的方法。生成式模型法通常预先定义一个手部模型，借 助不同的目标函数实现手部模型与观测到的深度图像的最优匹配。这类方法 的性能对目标函数的合理性有较高依赖，对初始参数值敏感，估计速度慢， 当手部动作变化较快时，姿态估计的准确度下降严重。数据学习法用大量数 据训练手部姿态估计模型，可直接回归得到关节位置或角度，可以避免复杂 建模过程，克服优化难度较高的缺点，但是姿态估计的准确度不如生成式模型法。最近的研究将手部模型与数据学习结合起来，期望在估计准确度和估 计速度之间达到最佳平衡。如采用图卷积网重构手部形状模型获取姿态信息， 利用大量合成数据训练网络，以实际采集的深度图为真值，弱监督模式调整 网络参数去匹配真实深度图中的手部姿态。或采用编码器结构从彩色图像中 估计控制手部模型动作的参数以及视角参数，并用估计的参数调整解码器部 分给出的手部模型以及投影图像。不过，这种模型与数据学习结合的混合式 方法仍然需要复杂的手部建模，估计速度提升有限。如果采用仿真合成数据 训练网络模型，其与真实数据之间的差异对估计的准确性有不利影响。

本发明目标是以深度传感器采集的人手动作图像为数据源，研究一种基 于深度学习技术的新方法，估计人手在动作过程中的关节位置信息，可以为 诸如机器手操作等提供技术手段。本发明为了综合提升估计准确度和估计速 度，选用深度图像作为输入，不需要建立手部模型，而是直接采用深度卷积 网络达到目的。特别是本发明提出了一种新颖的与手指功能差异相对应的网 络结构，通过分手指分关节的估计，不仅提高了手部姿态估计的准确度，而 且具有非常高的估计速度。

发明内容

根据上述提出的技术问题，而提供分关节的手部姿态估计方法。本发明 在充分调研手部姿态估计方法的研究进展基础上，提出一种依据手指功能区 别而设计的分手指、分关节的手部姿态估计网络结构，使手部姿态估计具有 较高的准确度。

本发明采用的技术手段如下：

一种分关节的手部姿态估计方法，包括：

S1、准备数据集；

S2、设计网络结构，将数据集中的图像数据输入到神经网络进行处理和 融合重构；

S3、设计损失函数，所述损失函数定义如下：

L＝L₁+L₂+L₃+λR(w) (1)