[发明专利]一种基于单一RGB帧的实时三维手势估计方法

权利要求书

1.一种基于单一RGB帧的实时三维手势估计方法，其特征在于，主要包括2D关节估计(一)；从2D关节到3D姿势(二)。

2.基于权利要求书1所述的实时三维手势估计方法，其特征在于，首先以彩色图像作为输入，使用最先进的探测器来定位手部；对于输入图像中的每一只手，手部检测器产生一个似然估计值和手部边界框的坐标，运行OpenPose(肢体语言识别系统)的预训练网络来估计手关节的二维位置，产生手部2D关节位置的热点图；最后，非线性平方最小化将手部的3D模型拟合到估计的2D关节位置，恢复3D手部姿态。

3.基于权利要求书2所述的手部检测器，其特征在于，检测器原形是完全卷积结构，包含19个卷积层，并且最大的合并操作将288×288的输入图像缩小为7×7的分数图；通过使用批量标准化来加快和稳定训练过程，接着改进原检测器，除了双手之外，关于身体部位的额外信息可以作为区分左手和右手的简单方法，并为观察到的手部所进行的任务提供线索；同时创建一个数据集来训练检测器。

4.基于权利要求书3所述的数据集，其特征在于，数据集包含12个不同室内环境的项目，使用OpenPose自动注释帧；在训练网络之前，将数据集分成约12000帧的训练集和约1000帧的验证集；网络训练了20000次迭代；重新训练的网络在验证集上的检测率为92.8％，误报率为1.7％；给定一个输入图像，最终的检测器可以在恒定的时间内检测两个指定的类以及边界框。

5.基于权利要求书1所述的2D关节估计(一)，其特征在于，根据检测到的边界框裁剪图像，将其馈送到2D关键点检测器；由于关键点检测器仅在左手进行训练，通过沿着Y轴镜像图像来处理右手；检测器的输出是21个热点图，对应于20个手关键点(每个手指四个)和一个手腕点的估计值。

6.基于权利要求书1所述的从2D关节到3D姿势(二)，其特征在于，包括手部模型、单相机视图和立体声或多路摄像机输入。

7.基于权利要求书6所述的手部模型，其特征在于，手部模型具有26个自由度，由27个参数表示；手的全局平移和旋转需要6个自由度(DoF)，由7个值编码，因为采用了四元数表示三维旋转；每个手指根部的关节使用两个DoFs建模，其余的手指关节各需要一个DoF；手指关节受到真实关节限制的约束；确定模型骨架上与2D联合检测器估计的关节位置相对应的关键点。