[发明专利]一种关键点检测方法、装置、终端及计算机可读存储介质

说明书

本发明提供一种关键点检测方法、装置、终端及计算机可读存储介质，关键点检测方法中基于获取的待检测图像中目标对象的关节点和预设关键点进行拓扑关联，得到拓扑结构；对待检测图像进行特征提取，得到预设关键点和各关节点分别对应的热力图；基于近端关键点和中间关键点分别对应的热力图，确定远端关键点的预测位置信息；基于远端关键点的预测位置信息以及中间关键点和近端关键点分别对应的热力图，确定关键点偏移量；基于关键点偏移量对远端关键点的预测位置信息进行修正，确定远端关键点的修正位置信息。本申请通过关键点的位置偏移量对预测得到的远端关键点的位置信息进行修正，以提高远端关键点的位置信息的精确度。

技术领域

本发明涉及关键点检测技术领域，特别是涉及一种关键点检测方法、装置、终端及计算机可读存储介质。

背景技术

人体关键点检测旨在正确预测和定位人体关节，被广泛应用于运动捕捉、人机交互、活动识别、增强现实等领域。但在复杂或看不见的场景中，由于遮挡、杂乱背景以及外观和场景的巨大差异，姿势估计仍然非常具有挑战性，尤其是对于身体部位末尾位置的这些远端关键点，例如手腕和脚踝，有很大的运动自由，经常遭受严重的遮挡。

当前遮挡场景下人体关键点检测方法，大多是通过在数据输入空间合成遮挡数据以及使用人体关键点检测网络模型直接进行训练的数据增强方法学习人体关键点，但这种数据增强方法在数据输入端输入的遮挡数据，并不能表征丰富的真实遮挡情况，导致使用人体关键点检测的鲁棒性较低。

发明内容

本发明主要解决的技术问题是提供一种关键点检测方法、装置、终端及计算机可读存储介质，解决现有技术中人体关键点的检测精度低的问题。

为解决上述技术问题，本发明采用的第一个技术方案是：提供一种关键点检测方法，包括：

基于获取的待检测图像中目标对象的关节点和预设关键点进行拓扑关联，得到拓扑结构；拓扑结构包括依次连接的远端关键点、中间关键点和近端关键点；距离预设关键点最近的端部的关节点或位于端部的预设关键点作为近端关键点；距离预设关键点最远的端部的关节点作为远端关键点；

对待检测图像进行特征提取，得到预设关键点和各关节点分别对应的热力图；

基于近端关键点和中间关键点分别对应的热力图，确定远端关键点的预测位置信息；

基于远端关键点的预测位置信息以及中间关键点和近端关键点分别对应的热力图，确定关键点偏移量；

基于关键点偏移量对远端关键点的预测位置信息进行修正，确定远端关键点的修正位置信息。

其中，对待检测图像进行特征提取，得到预设关键点和各关节点分别对应的热力图，包括：

采用关键点特征提取网络对待检测图像进行特征提取，得到预设关键点和各关节点分别对应的热力图；其中，关键点特征提取网络是基于HRNet网络和FasterNet网络构建得到的。

其中，关键点特征提取网络包括四个阶段三个分支，每个分支获取输入信号的不同尺度特征信息，每个阶段不同的特征信息会进行相互融合并将融合后的特征作为下一个阶段的输入。

其中，关键点特征提取网络包括依次级联的卷积嵌入层、第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层；

采用关键点特征提取网络对待检测图像进行特征提取，得到预设关键点和各关节点分别对应的热力图，包括：

通过卷积嵌入层对待检测图像进行特征提取，得到待检测特征图；

通过第一特征提取层对待检测特征图进行特征提取，得到第一特征图；

对第一特征图进行下采样并通过第二特征提取层进行特征提取，得到第二特征图；