[发明专利]关键点检测方法、装置、电子设备及计算机可读存储介质

说明书

本公开关于一种关键点检测方法、装置、电子设备及计算机可读存储介质，属于深度学习技术领域。本公开通过在提取到手部图像的图像特征后，分别获取图像特征对应的空间热力图、空间注意力图和深度图，从而基于空间热力图、空间注意力图和深度图，来确定手部图像中多个关键点的三维位置信息，即可确定出手部图像中各个关键点的位置。

技术领域

本公开涉及深度学习技术领域，尤其涉及一种关键点检测方法、装置、电子设备及计算机可读存储介质。

背景技术

关键点检测作为一种确定人体特定位置或区域中的关键点的方法，是人体分析、编辑任务的基础。例如，在通过手势对智能设备进行控制的过程中，通过对手部图像进行采集，并通过手部关键点检测确定手部各个关键点的位置，以识别出手部图像中的手势，从而根据识别出的手势来对智能设备进行控制。因此，亟需一种关键点检测方法，来确定手部图像中各个关键点的位置。

发明内容

本公开提供一种关键点检测方法、装置、电子设备及计算机可读存储介质，以确定手部图像中各个关键点的三维位置信息，从而确定手部图像中各个关键点的位置。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种关键点检测方法，该方法包括：

提取手部图像的图像特征；

获取该图像特征对应的多个空间热力图、多个空间注意力图和多个深度图，一个该空间热力图对应于一个关键点，该空间热力图用于表示该手部图像中像素点为对应关键点的概率分布，该空间注意力图用于表示相邻关键点在该手部图像的对应区域中出现的概率分布，该深度图用于表示在该相邻关键点出现在该手部图像的任一位置情况下，该相邻关键点之间的相对深度差的估计值；

基于该多个空间热力图、该多个空间注意力图和该多个深度图，确定该手部图像中多个关键点的三维位置信息。

本公开实施例提供的方案，通过在提取到手部图像的图像特征后，分别获取图像特征对应的空间热力图、空间注意力图和深度图，从而基于空间热力图、空间注意力图和深度图，来确定手部图像中多个关键点的三维位置信息，即可确定出手部图像中各个关键点的位置。

在一些实施例中，该获取该图像特征对应的多个空间热力图、多个空间注意力图和多个深度图，包括：

将该图像特征分别输入关键点检测模型的第一转置卷积模块、第二转置卷积模块和第三转置卷积模块，通过该第一转置卷积模块、该第二转置卷积模块和该第三转置卷积模块，分别输出该多个空间热力图、该多个空间注意力图和该多个深度图。

通过关键点检测模型的第一转置卷积模块、第二转置卷积模块和第三转置卷积模块，分别对图像特征进行处理，即可获取到多个空间热力图、多个空间注意力图和多个深度图。

在一些实施例中，该第一转置卷积模块、该第二转置卷积模块和该第三转置卷积模块的结构相同，该第一转置卷积模块、该第二转置卷积模块和该第三转置卷积模块均包括至少一个转置卷积层。

通过在第一转置卷积模块、第二转置卷积模块和第三转置卷积模块均设置至少一个转置卷积层，以便通过这至少一个转置卷积层来对图像特征进行处理，此外，通过将第一转置卷积模块、第二转置卷积模块和第三转置卷积模块设置成相同的结构，使得第一转置卷积模块输出的空间热力图、第二装置卷积模块输出的空间热力图以及第三转置卷积模块输出的深度图的图像尺度相同，以便后续对空间热力图、空间注意力图深度图进行处理。

在一些实施例中，该三维位置信息包括二维位置信息和深度信息；

该基于该多个空间热力图、该多个空间注意力图和该多个深度图，确定该手部图像中多个关键点的三维位置信息，包括：

确定每个该空间热力图中的目标位置，将多个该空间热力图的目标位置的二维位置信息分别作为该多个关键点的二维位置信息，该目标位置为对应像素点为关键点的概率最大的位置；