[发明专利]基于注意力与局部空间关联域的指关节关键点检测方法

说明书

本发明公开了基于注意力与局部空间关联域的指关节关键点检测方法，包括下列步骤：步骤一、构建手掌检测网络，并在手掌检测网络之后添加指关节检测的网络结构形成网络模型；步骤二、采集训练集，通过设计的损失函数训练步骤一构建的网络模型得到手部检测模型；步骤三、采集手部图像信息，输入所述手部检测模型得到检测结果；所述网络模型中，整体网络结构包括主干网络、手掌检测模块、手掌筛选模块和指关节检测模块。通过本发明可以准确预测场景中的人手掌位置以及手掌中指关节关键点位置，具有广泛的应用价值。

技术领域

本发明属于图像处理领域，具体涉及基于注意力与局部空间关联域的指关节关键点检测方法。

背景技术

随着科技的不断发展，利用人工智能进行图像处理和识别的技术不断完善，并且应用越来越广泛，如自动驾驶、机器人、元宇宙等领域。指关节检测技术可以检测到人手指的具体位置，有利于分析识别人手的具体动作，用于控制机器人进行拿取物品等精细操作，也可以直接用于在虚拟环境与人的手部动作进行识别互动，增强人在元宇宙等虚拟现实技术中的互动灵活性。但是现有技术中由于手部动作复杂，需要针对各个指关节的运动进行识别。通常情况下手掌检测与指关节检测不在同一个网络中；指关节检测中手型复杂、多尺度变化以及部分遮挡等问题，实际识别过程中存在指关节遗漏、指关节连接错乱等问题，造成识别结果精确性不高。

发明内容

本发明的目的是提供基于注意力与局部空间关联域的指关节关键点检测方法，用于解决现有技术中存在检测指关节关键点错乱，造成识别结果精确性不高的技术问题。

所述的基于注意力与局部空间关联域的指关节关键点检测方法，包括下列步骤：

步骤一、构建手掌检测网络，并在手掌检测网络之后添加指关节检测的网络结构形成网络模型；

步骤二、采集训练集通过设计的损失函数训练步骤一构建的网络模型得到手部检测模型；

步骤三、采集手部图像信息输入所述手部检测模型得到检测结果；

所述网络模型中，整体网络结构包括主干网络、手掌检测模块、手掌筛选模块和指关节检测模块，主干网络提取整个手部图像特征，手掌检测模块主要负责检测手掌并提取手掌位置，手掌筛选模块负责选择出真正的手掌，指关节检测模块负责检测手掌指关节关键点位置。

优选的，所述步骤一的具体步骤包括：

步骤1.1、通过主干网络从输入图像中提取手部图像特征；

步骤1.2、通过手掌检测模块从步骤1.1输出的手部图像特征中检测手掌并提取手掌位置；

步骤1.3、手掌筛选模块结合步骤1.2输出的手掌位置从所述手部图像特征中选择出真正的手掌；

步骤1.4、通过指关节检测模块从步骤1.3选择手掌后的手部图像特征中检测指关节关键点位置。

优选的，所述步骤1.2和所述步骤1.4各自使用Transformer注意力机制分别进行手掌检测以及指关节检测，所述手掌检测模块和所述指关节检测模块中均设有Transforme编码器以及Transformer解码器，Transforme编码器和Transformer解码器通过下述算式进行注意力信息提取：

MultiHead(Q，K，V)＝Concat(h₁，…，h_h)W^o