[发明专利]关键点检测方法、神经网络训练方法、装置和电子设备

权利要求书

1.一种关键点检测方法，包括：

经神经网络对包括有目标对象的待检测图像进行特征提取操作；

根据提取到的特征信息，生成所述目标对象的注意力图；

使用所述注意力图修正所述特征信息；

根据修正后的特征信息，对所述目标对象进行关键点检测，

其中，所述神经网络包括端对端堆叠的M个子神经网络，M个子神经网络当中的前N个子神经网络对应的注意力图的分辨率低于后M–N个子神经网络对应的注意力图的分辨率，M和N均为正整数且N小于M。

2.根据权利要求1所述的方法，其中，

所述经神经网络对包括有目标对象的待检测图像进行特征提取操作，包括：经卷积神经网络对所述待检测图像进行卷积操作，获得所述待检测图像的第一特征信息；

所述根据提取到的特征信息，生成所述目标对象的注意力图，包括： 对所述第一特征信息进行非线性变换，获得第二特征信息；根据所述第二特征信息，生成所述目标对象的注意力图。

3.根据权利要求1或2所述的方法，其中，在使用所述注意力图修正所述特征信息之前，所述方法还包括：

使用条件随机场CRF对所述注意力图进行平滑化处理；

或者，

使用归一化函数对所述注意力图进行归一化处理。

4.根据权利要求1-2任一项所述的方法，其中，

针对每一个子神经网络，根据当前子神经网络提取的特征信息生成当前子神经网络的注意力图，通过当前子神经网络的注意力图修正当前子神经网络提取的特征信息；

如果当前子神经网络为所述多个子神经网络中的非末个子神经网络，则当前子神经网络修正后的特征信息为相邻的后一子神经网络的输入；和/或，如果当前子神经网络为所述多个子神经网络中的末个子神经网络，则根据当前子神经网络修正后的特征信息，对所述目标对象进行关键点检测。

5.根据权利要求4所述的方法，其中，所述通过当前子神经网络的注意力图修正当前子神经网络提取的特征信息，包括：

根据当前子神经网络的注意力图，对表示当前子神经网络提取的特征信息的特征图中至少部分非目标对象对应的区域的像素值置零，获得当前子神经网络修正后的特征信息。

6.根据权利要求5所述的方法，其中，根据当前子神经网络的注意力图，对表示当前子神经网络提取的特征信息的特征图中至少部分非目标对象对应的区域的像素值置零，获得当前子神经网络修正后的特征信息，包括：

如果当前子神经网络是设定的前N个子神经网络，则使用当前子神经网络的注意力图，对表示当前子神经网络提取的特征信息的特征图中至少部分非目标对象对应的区域的像素值置零，获得所述目标对象所在的区域的特征信息；

和/或，

如果当前子神经网络并非设定的前N个子神经网络，则经当前子神经网络对表示目标对象所在的区域的特征信息的特征图进行特征提取操作，根据提取到的特征信息生成当前子神经网络的注意力图；使用当前子神经网络的注意力图，对表示当前子神经网络提取的特征信息的特征图中至少部分非目标对象的关键点对应的区域的像素值置零，获得所述目标对象的关键点对应的区域的特征信息。

7.根据权利要求4所述的方法，其中，针对每一个子神经网络，

所述经神经网络对包括有目标对象的待检测图像进行特征提取操作，包括：获得当前子神经网络的多个卷积层对应输出的不同分辨率的多个特征图，分别对多个特征图进行上采样，获得多个特征图对应的特征信息；

所述根据提取到的特征信息，生成所述目标对象的注意力图，包括：根据多个特征图对应的特征信息，生成对应的多个不同分辨率的注意力图；对多个不同分辨率的注意力图进行合并处理，生成当前子神经网络的最终的目标对象的注意力图。

8.根据权利要求1-2任一项所述的方法，其中，所述神经网络为沙漏HOURGLASS神经网络。