[发明专利]一种分关节的手部姿态估计方法

权利要求书

1.一种分关节的手部姿态估计方法，其特征在于，包括：

S1、准备数据集；

S2、设计网络结构，将数据集中的图像数据输入到神经网络进行处理和融合重构；

S3、设计损失函数，所述损失函数定义如下：

L＝L₁+L₂+L₃+λR(w) (1)

式(1)中，L₁、L₂、L₃分别表示第一个损失函数项、第二个损失函数项和第三个损失函数项，R(w)表示正则化项，λ表示正则化项的权重系数；

其中，第一个损失函数项L₁具体定义为：

L₁＝δL_palm+αL_thumb+βL_index+γL_others (2)

式(2)由掌关节、拇指关节、食指关节和其他手指关节的损失函数L_palm、L_thumb、L_index、L_others构成，定义为预测关节位置与真实关节位置的差，即

式(3)中，a_i为第i个关节位置预测值，A_i为第i个关节位置真实值，J_f为各支路对应的关节数量；δ、α、β、γ分别为平衡各项的权重因子；

第二个损失函数项L₂具体定义为：

式(4)中，p_i和P_i分别表示第i维收缩层的预测输出和关节位置真值降维后的特征值；

第三个损失函数项位于干扰消除之后的最终的分支之后，定义了每个分支预测的关节点的3D坐标与真值标注之间距离，其定义与L₂相同；

S4、构建网络并进行网络训练，网络使用python2.7基于tensorflow1.3构建，在配有GTX1080显卡的主机上进行训练和测试；

S5、通过评价指标对测试结果进行分析；所述评价指标包括平均关节误差、正确检测帧比率以及平均检测速度。

2.根据权利要求1所述的分关节的手部姿态估计方法，其特征在于，所述步骤S1中准备数据集的具体过程如下：

S11、获取图像数据集；所述图像数据集采用开源共享的ICVL数据集；

S12、通过图像的二维旋转变换将数据集扩充到330K，数据集包含1.5K帧测试图像；

S13、数据预处理，定义固定大小的手部包围盒，以手指中部MCP关节的标注为中心，裁剪出手部图像，计算裁剪后图像的质心；以该质心为包围盒中心，重新裁剪图像；将裁剪后手部深度图的大小调整为128×128，深度值归一化到[-1,1]。

3.根据权利要求2所述的分关节的手部姿态估计方法，其特征在于，所述ICVL数据集通过3D骨骼模型跟踪对手部16个关节点的3D位置进行标注，通过Intel Creative深度相机拍摄22K张手部动作的深度图像，分辨率320×240，位深度16，所含图像序列共有10个操作者，执行26个不同动作。

4.根据权利要求1所述的分关节的手部姿态估计方法，其特征在于，所述步骤S2中设计的网络结构包括网络输入特征提取单元和网络特征融合单元；

所述网络输入特征提取单元采用四分支卷积神经结构，每个分支分别对应不同的手部关节且结构相同，其中每个分支包括两个卷积模块和一个全连接模块；

所述网络特征融合单元通过集成操作将四个分支得到的特征合并，形成一个综合特征，送入后续的全连接模块进行全局特征映射，该模块结构与所述特征提取单元中的全连接模块相同；该全连接模块连接收缩层，其神经元数量少于表达全手关节所需要的神经元数量，通过高维向低维的映射，强化手部的整体结构约束。