[发明专利]目标对象关键点检测方法、深度学习神经网络及装置

说明书

本申请实施方式公开了一种目标对象关键点检测方法、深度学习神经网络以及装置，其中的目标对象关键点检测方法主要包括：接收待处理图像的特征图；在按照分支网络所对应的指定部位的活动自由度的大小，依次对深度学习神经网络中的各关键点检测分支网络进行排列的情况下，将所述特征图提供给对应指定部位的活动自由度最低的关键点检测分支网络，并将前级关键点检测分支网络输出的关键点预测信息与所述特征图一起提供给后级关键点检测分支网络；根据所述各关键点检测分支网络输出的关键点预测信息确定待处理图像的目标对象关键点。

技术领域

本申请涉及计算机视觉技术，尤其是涉及一种目标对象关键点检测方法、用于检测目标对象关键点的深度学习神经网络、目标对象关键点检测装置、电子设备、计算机可读存储介质以及计算机程序。

背景技术

预测图像(例如，视频中的视频帧等)中的目标对象关键点(例如，人的身体关键点等)可以为多种应用提供信息支持；例如，通过对视频的各视频帧的身体关键点进行分析，可以获得人的行为；再例如，通过获得视频的各视频帧的身体关键点，可以在人体的相应部位增加相应的特效，从而增强视频的视觉效果。

如何快速准确的预测出图像中的目标对象关键点，是一个值得关注的技术问题。

发明内容

本申请实施方式提供一种目标对象关键点检测的技术方案。

根据本申请实施方式其中一个方面，提供了一种目标对象关键点检测方法，该方法包括：接收待处理图像的特征图；在按照分支网络所对应的指定部位的活动自由度的大小，依次对深度学习神经网络中的各关键点检测分支网络进行排列的情况下，将所述特征图提供给对应指定部位的活动自由度最低的关键点检测分支网络，并将前级关键点检测分支网络输出的关键点预测信息与所述特征图一起提供给后级关键点检测分支网络；根据所述各关键点检测分支网络输出的关键点预测信息确定待处理图像的目标对象关键点。

在本申请一实施方式中，确定所述活动自由度的参数包括：指定部位的活动频率，和/或指定部位的被遮挡的概率。

在本申请又一实施方式中，不同关键点检测分支网络所具有的计算资源不相同。

在本申请再一实施方式中，对应指定部位活动自由度高的关键点检测分支网络所具有的计算资源，高于对应指定部位活动自由度低的关键点检测分支网络所具有的计算资源。

在本申请再一实施方式中，所述神经网络包括：用于预测目标对象头颈部位的关键点的第一关键点检测分支网络；用于预测目标对象躯干部位的关键点的第二关键点检测分支网络；用于预测目标对象四肢部位的关键点的第三关键点检测分支网络。

在本申请再一实施方式中，所述第一关键点检测分支网络所具有的计算资源低于第二关键点检测分支网络所具有的计算资源，所述第二关键点检测分支网络所具有的计算资源低于第三关键点检测分支网络所具有的计算资源。

在本申请再一实施方式中，所述第一关键点检测分支网络包括：至少一个基于卷积层的网络结构单元；所述第二关键点检测分支网络包括：至少两个基于卷积层的网络结构单元；所述第三关键点检测分支网络包括：至少三个基于卷积层的网络结构单元；其中，所述第一关键点检测分支网络所包含的网络结构单元的数量小于第二关键点检测分支网络所包括的网络结构单元的数量，所述第二关键点检测分支网络所包含的网络结构单元的数量小于第三关键点检测分支网络所包括的网络结构单元的数量。

在本申请再一实施方式中，所述将前级关键点检测分支网络输出的关键点预测信息与所述特征图一起提供给后级关键点检测分支网络包括：将前一级关键点检测分支网络输出的关键点预测信息与所述目标对象特征图一起作为后一级关键点检测分支网络的输入；或者，将当前关键点检测分支网络之前的任一级关键点检测分支网络输出的关键点预测信息与所述特征图一起作为当前关键点检测分支网络的输入；或者，将所有前级关键点检测分支网络输出的关键点预测信息与所述目标对象特征图一起被作为后级关键点检测分支网络。