[发明专利]一种多任务的图像处理方法、装置、电子设备及存储介质

说明书

本发明实施例提供了一种多任务的图像处理方法、装置、电子设备及存储介质，涉及图像处理领域。该方法包括：获得待处理的目标图像；将目标图像输入至预先训练的神经网络模型，得到目标图像的人像蒙版和每个人体关键点的热度图；所述神经网络模型为基于样本图像、所述样本图像的真值人像蒙版以及所述样本图像中每个人体关键点的真值热度图所训练得到的、用于生成人像蒙版和热度图的模型；根据目标图像中每个人体关键点的热度图，确定目标图像中每个人体关键点的坐标；根据目标图像的人像蒙版，对目标图像进行人像分割，得到分割结果。通过本方案可实现在同时存在人体关键点识别和人像分割的任务需求时，降低整体计算量的目的。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种多任务的图像处理方法、装置、电子设备及存储介质。

背景技术

人体关键点识别和人像分割是图像处理领域中较为重要的两类图像处理任务。其中，人体关键点是动作识别、异常行为检测、安防等的实现基础，其主要用于从给定的图像中定位人体的身体关键部位，例如头部、颈部、肩部、手部等部位。而人像分割是指将图像中的人像和背景进行分离，分成不同的区域。并且，人像分割主要应用于图像前景背景替换和背景虚化等美化操作。

现有技术中，人体关键点识别和人像分割是独立实现的两个任务。并且，人体关键点识别和人像分割的处理流程均为利用预先训练的相应的神经网络模型，来得到的相应的图像处理结果。

发明人在实现本发明的过程中发现，现有技术至少存在如下问题：

在同时存在人体关键点识别和人像分割的任务需求时，按照现有技术中独立完成每一任务的方式，会存在整体计算量较大的问题。

发明内容

本发明实施例的目的在于提供一种多任务的图像处理方法、装置、电子设备及存储介质，以实现在同时存在人体关键点识别和人像分割的任务需求时，降低整体计算量的目的。具体技术方案如下：

第一方面，本发明实施例提供了一种多任务的图像处理方法，包括：

获得待处理的目标图像；

将所述目标图像输入至预先训练的神经网络模型，得到所述目标图像的人像蒙版，以及所述目标图像中每个人体关键点的热度图；其中，所述神经网络模型为基于样本图像、所述样本图像的真值人像蒙版以及所述样本图像中每个人体关键点的真值热度图所训练得到的、用于生成人像蒙版和热度图的模型；所述神经网络模型包括：顺次连接的特征提取网络和分支网络组，所述分支网络组包括作为并列分支的热度图生成网络和人像蒙版生成网络；所述特征提取网络用于提取所述样本图像的特征矩阵；所述人像蒙版生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像的人像蒙版；所述热度图生成网络用于基于所述样本图像的特征矩阵，生成所述样本图像中每个人体关键点的热度图；

根据所述目标图像中每个人体关键点的热度图，确定所述目标图像中每个人体关键点的坐标；

根据所述目标图像的人像蒙版，对所述目标图像进行人像分割，得到分割结果。

可选地，所述神经网络模型的训练过程包括：

获得多个样本图像，以及每个样本图像的真值人像蒙版和每个样本图像中每个人体关键点的坐标；

针对每个样本图像，利用该样本图像中每个人体关键点的坐标，生成每个人体关键点的真值热度图；

针对每个样本图像，将该样本图像输入至训练中的神经网络模型，以使所述神经网络模型中的特征提取网络从该样本图像中提取特征矩阵，并将所提取的该样本图像的特征矩阵分别输入至所述人像蒙版生成网络和所述热度图生成模型，使得所述热度图生成网络基于所接收到的特征矩阵，生成该样本图像中每个人体关键点的预测热度图，并且，使得所述人像蒙版生成网络基于所接收到的特征矩阵，生成该样本图像的预测人像蒙版；