[发明专利]基于注意力与局部空间关联域的指关节关键点检测方法

权利要求书

1.基于注意力与局部空间关联域的指关节关键点检测方法，其特征在于：包括下列步骤：

步骤一、构建手掌检测网络，并在手掌检测网络之后添加指关节检测的网络结构形成网络模型；

步骤二、采集训练集，通过设计的损失函数训练步骤一构建的网络模型得到手部检测模型；

步骤三、采集手部图像信息，输入所述手部检测模型得到检测结果；

所述网络模型中，整体网络结构包括主干网络、手掌检测模块、手掌筛选模块和指关节检测模块，主干网络提取整个手部图像特征，手掌检测模块主要负责检测手掌并提取手掌位置，手掌筛选模块负责选择出真正的手掌，指关节检测模块负责检测手掌指关节关键点位置。

2.根据权利要求1所述的基于注意力与局部空间关联域的指关节关键点检测方法，其特征在于：所述步骤一的具体步骤包括：

步骤1.1、通过主干网络从输入图像中提取手部图像特征；

步骤1.2、通过手掌检测模块从步骤1.1输出的手部图像特征中检测手掌并提取手掌位置；

步骤1.3、手掌筛选模块结合步骤1.2输出的手掌位置从所述手部图像特征中选择出真正的手掌；

步骤1.4、通过指关节检测模块从步骤1.3选择手掌后的手部图像特征中检测指关节关键点位置。

3.根据权利要求2所述的基于注意力与局部空间关联域的指关节关键点检测方法，其特征在于：所述步骤1.2和所述步骤1.4各自使用Transformer注意力机制分别进行手掌检测以及指关节检测，所述手掌检测模块和所述指关节检测模块中均设有Transforme编码器以及Transformer解码器，Transforme编码器和Transformer解码器通过下述算式进行注意力信息提取：

MultiHead(Q，K，V)＝Concat(h₁，…，h_h)W^o

其中，Q、K、V分别为查询矩阵、键矩阵、值矩阵，通过输入特征与对应的W_i^Q，权重进行矩阵运算得到；注意力机制采用softmax函数，K^T为矩阵K的转置矩阵，d_k是Q，K矩阵的维度；h_k通过多头注意力机制中的第i个头，h_h是第h个头，W_i^Q、表示对应第i个头与查询矩阵、键矩阵、值矩阵对应的权重，W_i^Q、W^o分别为待学习的权重；Concat为矩阵连接函数。

4.根据权利要求2所述的基于注意力与局部空间关联域的指关节关键点检测方法，其特征在于：所述步骤1.1中选择HRNet模型作为主干网络，所述主干网络能提取多尺度物体特征。

5.根据权利要求1所述的基于注意力与局部空间关联域的指关节关键点检测方法，其特征在于：所述步骤二中，采用MSE损失函数、MAE损失函数和局部关联损失函数3种损失函数融合的方式去优化网络模型参数，所述最终损失L的算式见下述公式：

L＝αL_MSE+βL_MAE+γL_LAL

其中α、β、γ分别为MSE损失、MAE损失和局部关联损失的权重，L_MSE、L_MAE、L_LAL分别表示MSE损失函数、MAE损失函数和局部关联损失函数。

6.根据权利要求5所述的基于注意力与局部空间关联域的指关节关键点检测方法，其特征在于：MSE损失函数是预测值与目标值之间差值的平方和，用于标识预测图与真值图之间像素级别的误差，通过下述算式计算：

其中，p(x_i)为特征图预测值，g(x_i)为标注真值，Num＝H×W为图像宽、高的乘积。