[发明专利]基于特征交互的手部模型重建方法

说明书

本发明公开了一种基于特征交互的手部模型重建方法，在手姿估计阶段引入了特征交互的处理方式，使得手部特征和骨骼特征能更有效的相互学习，使得在遮挡情况下，手势识别结果也能有较高的准确度。同时在特征提取方面，子网络的应用也降低了网络的参数，加快了模型的收敛速度。最终，网络的输出呈现的是含有表面纹理信息的手型，相较于传统的手姿估计结果呈现的只是由点与线构成的手型，本发明得到的手部重建模型更贴合人的手型，在人机交互时能实现更真实的交互体验，同时也能提高操作的准确性。

技术领域

本发明属于计算机视觉技术领域，具体涉及基于特征交互的手部模型重建方法。

背景技术

手部模型重建是指从图像或视频中重建三维手部模型的过程。它可以用于虚拟现实、增强现实和手部姿态估计等领域，手部模型重建通常分为两个阶段：手部姿态估计和三维模型重建。

在手部姿态估计阶段，可以使用深度学习技术来预测手部姿态，通过使用卷积神经网络(CNNs)对手部图像进行特征提取，以预测手的姿态。这种方法可以通过增加训练数据和改进网络架构来提高精度。此外，还可以使用多任务学习的方法来同时预测手部的姿势和手的位置，以提高预测精度。而对于当下手姿估计遇到的问题来说，遮挡问题是亟待解决的一大难题。当手与外界物体进行交互的过程中，时常由于手的部分被物体遮挡，从而导致最终的手姿估计出现关节扭曲、估计位置不对等问题，若只是通过简单的特征提取或增加训练数据，而不结合利用图像所能提供的上下文信息，遮挡问题很难得到解决。

发明内容

本发明的目的是提供基于特征交互的手部模型重建方法，解决了现有技术中存在的因手部被其他物体遮挡，导致手部姿态估计不准确，从而影响手部模型重建准确度的问题。

本发明所采用的技术方案是，基于特征交互的手部模型重建方法，具体按照以下步骤实施：

步骤1、获取由手姿训练图片构成的数据集；

步骤2、对步骤1获取到的数据进行预处理，得到预处理后的手部图像；

步骤3、构建手部姿态估计的网络模型结构，结合预处理后的手部图像预测3D手姿位置；

步骤4、根据预测3D手姿位置重建初始手部模型；

步骤5、设置步骤3中的手部姿态估计的网络参数，将预处理后的手部图像输入手部姿态估计的网络模型进行训练，并将训练好的手部姿态估计网络模型保存输出；

步骤6、将预处理后的手部图像输入训练好的手部姿态估计网络模型，将输出结果再输入重建初始手部模型进行训练，并将训练好的模型保存，得到重建的手部模型。

本发明的特点还在于：

步骤2具体过程为：

将手姿训练图片进行裁剪成256×256大小，再进行归一化处理，得到预处理后的手部图像；

其中，在数据预处理阶段选择手腕处的关节作为根关节，从根关节到中指底部关节的骨头被定义为参考骨。

步骤3具体过程为：

构建手部姿态估计的网络模型结构包括2D手姿估计网络、3D手姿估计网络；