[发明专利]基于人手参数模型的低分辨率多视角手部重建方法

说明书

基于人手参数模型的低分辨率多视角手部重建方法，包括：采集人体整体的多视角图像；提取掩膜、二维关节点，转换成三维骨骼点；对人手参数模型进行动作形变，得到人手动作变形模型；优化人手参数模型的形状参数，得到人手形状变形模型；骨骼点与模型反向投影到各多视角图像，优化更新已有的二维骨骼点与掩膜，得到最终手部模型；和所述人体模型拼接。本发明的整个过程自动完成，表达手势动作与形状特征准确，重建精度高，将手部模型与人体模型进行拼接重组，得到更准确完整的模型效果。

技术领域

本发明涉及计算机图形中学的人手三维重建领域，具体地说是一种基于人手参数模型的低分辨率多视角手部重建方法。

背景技术

高质量的人体三维重建技术一般需要基于复杂的多视角相机系统，或者深度传感器系统。但无论是彩色相机还是深度传感器，当人的手势动作稍微复杂，这种重建系统下就会出现手指缺失或者手部噪声多的情况，这是完整采集人体模型的重要挑战，而本方法可以在不影响人体模型采集设定的同时，大幅度提高人手模型的重建精度，恢复出高质量的人手模型与人体融合。

对彩色相机而言，多视角人体重建需要基于图片的特征点匹配，当人体完整的出现在整个画面时，手部的区域往往只占“很小”的比例；而过低的分辨率以及本就相似的手部特征都会影响其特征点匹配结果。对深度传感器而言，当人体被其完整捕捉时，根据人体身高不同和传感器视场角差异，人需要距离传感器3～4米以上，常见深度传感器，如Kinect也只有0.5～4.5米的有效检测范围；同时，手部的几何结构复杂且精细，稍有偏差就将导致手指丢失和引入大量噪声。人手关节灵活，动作复杂，基于视觉的重建过程，会受手的自身遮挡和双手的相互遮挡的影响，进而加大了复杂手势高精度人体重建的难度。

CN201810140587.4号专利申请公开了一种基于双目彩色成像系统的立体人手3D骨架模型实时重建方法，双目彩色成像系统用于拍摄人手，得到两张同一只手不同视角的彩色图片；方法包括：检测手位置；检测手平面关键点；根据双目图像中关键点的平面位置恢复三维坐标；利用所述关键点的三维坐标拟合三维人手骨架。该方法仅使用双目彩色图像即可对手进行3D重建。

CN201110235370X号专利公开了一种三维手势运动重建方法和系统，包括：对采集的手势图像序列的第一帧图像进行区域分割；生成各分割区域的仿射变换矩阵；生成三维至二维投影系数，根据该投影系数和该的仿射变换矩阵，得出与该第一帧图像对应的三维手势模型；对得到的与该第一帧图像对应的三维手势模型，确定其骨架节点和该骨架节点的自由度；针对后续各帧图像，基于与前一帧图像对应的三维手势模型的骨架节点和该自由度，结合当前帧图像进行模拟退火粒子滤波运算，得出当前帧图像的三维手势模型，从而实现对三维手势的重建。

发明内容

本发明为解决现有的问题，旨在提供一种基于人手参数模型的低分辨率多视角手部重建方法。

为了达到上述目的，本发明采用的技术方案包括如下步骤：

步骤一，构建人手参数模型；采集人体整体的多视角图像，并建立人体模型；

步骤二，提取多视角图像中人手的掩膜、二维关节点，并将其转换成三维骨骼点；

步骤三，根据三维人手骨骼点对人手参数模型进行动作形变，得到人手动作变形模型；

步骤四，基于所述掩膜、变形后的手部模型，优化人手参数模型的形状参数，得到人手形状变形模型；

步骤五，将人手形状变形模型的骨骼点与模型，反向投影到各多视角图像，优化更新已有的二维骨骼点与掩膜，得到最终手部模型；

步骤六，将最终手部模型和所述人体模型拼接。

进一步地，步骤二中，运用三角测量、集束调整算法以及骨架物理约束计算出三维骨骼点X，公式为：

argmin(E_proj+αE_pose)