[发明专利]基于特征交互的手部模型重建方法

权利要求书

1.基于特征交互的手部模型重建方法，其特征在于，具体按照以下步骤实施：

步骤1、获取由手姿训练图片构成的数据集；

步骤2、对步骤1获取到的数据进行预处理，得到预处理后的手部图像；

步骤3、构建手部姿态估计的网络模型结构，结合预处理后的手部图像预测3D手姿位置；

步骤4、根据预测3D手姿位置重建初始手部模型；

步骤5、设置步骤3中的手部姿态估计的网络参数，将预处理后的手部图像输入手部姿态估计的网络模型进行训练，并将训练好的手部姿态估计网络模型保存输出；

步骤6、将预处理后的手部图像输入训练好的手部姿态估计网络模型，将输出结果再输入重建初始手部模型进行训练，并将训练好的模型保存，得到重建的手部模型。

2.根据权利要求1所述基于特征交互的手部模型重建方法，其特征在于，步骤2具体过程为：

将手姿训练图片进行裁剪成256×256大小，再进行归一化处理，得到预处理后的手部图像；

其中，在数据预处理阶段选择手腕处的关节作为根关节，从根关节到中指底部关节的骨头被定义为参考骨。

3.根据权利要求1所述基于特征交互的手部模型重建方法，其特征在于，步骤3具体过程为：

构建手部姿态估计的网络模型结构包括2D手姿估计网络、3D手姿估计网络；

其中，2D手姿估计网络包括残差网络Resnet_50、softmax层和子网络，所述残差网络Resnet_50用于对输入进网络的预处理后的手部图像进行特征提取，输出包含关节感知特征和骨骼感知特征的姿态感知特征编码，同时分别使用热图和骨骼图的形式表示预测的关键点位置和骨骼位置，分别生成预测手部关节分布的关节热图和预测骨骼分布的骨骼热图，所述softmax层用于增强姿态感知特征中的关节感知特征和骨骼感知特征的对比度，将关节感知特征和骨骼感知特征与相应的关节热图和骨骼热图进行特征融合，得到21个关节点的关节特征图和包含20个骨骼的骨骼特征图，所述子网络结构包括两个卷积层和一个MLP层，用于分别对关节特征图和骨骼特征图进行通道和特征约简，得到约简的关节特征f_j和约简的骨骼特征f_s；

在2D手姿估计网络和3D手姿估计网络中间还包括一个特征交互模块，该模块包含语义图卷积层、自注意力层、MLP层和transformer中的qkv机制，所述语义图卷积层和自注意力层用于对约简的关节特征的更新；所述qkv机制用于实现更新后的约简的关节特征f_j和约简的骨骼特征f_s交互，交互后的关节特征和骨骼特征通过多头自注意力机制和MLP层，输出最终的关节点特征和最终的骨骼特征；

所述3D手姿估计网络包含多个全连接层，对最终的关节点特征和最终的骨骼特征回归得到预测的3D手姿位置。

4.根据权利要求3所述基于特征交互的手部模型重建方法，其特征在于，所述对输入进网络的预处理后的手部图像进行特征提取具体过程为：

对于图像中每个关节i，使用x和y空间方向上的标准方差σ来生成热图，记为：

其中u＝[u_x,u_y]表示像素平面中的2D关节索引；H_i(u)表示生成的第i个关节点的热图；Pⁱ_2d表示在像素平面中，预测的第i个关节的坐标；

对于每个骨骼j连接两个端点和计算中间关节位置v＝[v_x,v_y]和这些端点的角度θ，然后使用2D旋转矩阵R_θ将u、v转换成其中

在此基础上，将得到的骨骼热图表示为：

其中，σ_x和σ_y是2D空间中骨骼方向的高斯分布的标准方差。