[发明专利]手部关键点检测方法、装置、设备和介质

权利要求书

1.一种手部关键点检测方法，包括：

将待检测图像输入第一子模型，以获取第一子模型输出的第一预测结果和第一特征图，其中，所述待检测图像包括手部，所述第一预测结果表征所述手部的至少一个关键点中的每一个关键点的初步预测位置；

基于所述第一预测结果，从所述第一特征图中获取第一关键点特征，所述第一关键点特征包括与所述每一个关键点分别对应的特征；

基于所述第一预测结果，从所述待检测图像中获取第二关键点特征，所述第二关键点特征包括与所述每一个关键点分别对应的特征；

将所述第一关键点特征和所述第二关键点特征输入第二子模型，以获取所述第二子模型输出的第二预测结果，其中，所述第二预测结果表征对所述每一个关键点的初步预测位置的修正；以及

结合所述第一预测结果和所述第二预测结果，以得到手部关键点检测结果。

2.如权利要求1所述的手部关键点检测方法，其中，所述第一关键点特征还包括基于所述每一个关键点的初步预测位置的所述手部的结构信息。

3.如权利要求2所述的手部关键点检测方法，其中，所述第二子模型为图卷积神经网络，

其中，所述将所述第一关键点特征和所述第二关键点特征输入第二子模型包括：

基于所述第一关键点特征和所述第二关键点特征，构造第二子模型输入，所述第二子模型输入为包括至少一个节点和至少一条边的图，所述至少一个节点与所述手部的至少一个关键点一一对应，所述至少一个节点中的每一个节点保存有所述第一关键点特征和所述第二关键点特征各自包括的与该节点对应的关键点的特征，所述至少一条边表征所述手部的结构信息。

4.如权利要求1所述的手部关键点检测方法，其中，所述第二关键点特征所包括的与所述每一个关键点分别对应的特征包括所述待检测图像中与所述每一个关键点的初步预测位置相应的区域的像素值。

5.如权利要求1所述的手部关键点检测方法，其中，所述第一关键点特征所包括的与所述每一个关键点分别对应的特征包括所述第一特征图中与所述每一个关键点的初步预测位置相应的区域的像素值。

6.如权利要求1所述的手部关键点检测方法，还包括：

获取所述第一子模型输出的不同于第一特征图的第二特征图；

基于所述第一预测结果，从所述第二特征图中获取第三关键点特征；以及

将所述第一关键点特征、所述第二关键点特征和所述第三关键点特征输入第二子模型，以获取所述第二子模型输出的第二预测结果。

7.如权利要求1所述的手部关键点检测方法，其中，所述第一预测结果为高斯热图，所述高斯热图包括表征所述手部的至少一个关键点中的每一个关键点的初步预测位置的多个热图峰值。

8.如权利要求7所述的手部关键点检测方法，其中，所述第一预测结果的尺寸与所述第一特征图相同，所述第一预测结果的尺寸小于所述待检测图像。

9.如权利要求1所述的手部关键点检测方法，其中，所述第一子模型为卷积神经网络。