[发明专利]图像处理方法、图像处理装置及存储介质

说明书

一种图像处理方法、图像处理装置及存储介质。该图像处理方法包括：获取输入图像中的检测框，基于检测框抠取检测框图像，检测框是针对待处理目标的检测所获得的；提取检测框图像的图像特征；确定输入图像中的多个待预测点以及多个待预测点的坐标，对多个待预测点的坐标组成的坐标向量进行换算，以获取多个待预测点的坐标特征；基于所述图像特征与坐标特征获取输入图像的混合特征；基于输入图像的混合特征判断输入图像中的待预测点是否是关键点。该图像处理方法可以避免抠取检测框外一定区域中的图像，从而可以提高多人场景下姿态估计的准确度以及节约该方法运行时的内存。

技术领域

本公开的实施例涉及一种图像处理方法、图像处理装置及存储介质。

背景技术

随着信息化时代的迅速发展，人类每时每刻都在通过多种多样的途径获得海量的可视化图像数据，这使得基于自然场景图像的人体姿态估计研究在现实生活中拥有很多潜在的应用价值。

人体姿态估计(Human pose estimation)作为计算机视觉领域中的一种关键技术，可以应用于人体活动分析、人机交互以及视频监视等方面。人体姿态估计主要是指从图像中检测出人体各个关节点(例如，手腕、脚踝等)的位置、方向以及尺度信息等，从而根据这些信息对人物进行动作分析等。

发明内容

本公开至少一实施例提供一种图像处理方法，包括：获取输入图像中的检测框，基于所述检测框抠取检测框图像，所述检测框是针对待处理目标的检测所获得的；提取所述检测框图像的图像特征；确定所述输入图像中的多个待预测点以及所述多个待预测点的坐标，对所述多个待预测点的坐标组成的坐标向量进行换算，以获取所述多个待预测点的坐标特征；基于所述图像特征与所述坐标特征获取所述输入图像的混合特征；基于所述输入图像的混合特征判断所述输入图像中的所述待预测点是否是关键点。

例如，在本公开一实施例提供的图像处理方法中，将包括所述检测框所在的区域以及所述检测框外选定区域的待预测区域划分为网格，所述待预测点包括所述待预测区域中的格点。

例如，在本公开一实施例提供的图像处理方法中，所述待处理目标为人体，所述关键点为所述人体的关节点。

例如，在本公开一实施例提供的图像处理方法中，所述提取的所述检测框图像的图像特征具有第一维数，所述图像处理方法还包括：对所述第一维数的图像特征进行降维操作，以获得第二维数的图像特征。

例如，在本公开一实施例提供的图像处理方法中，通过坐标网络对所述多个待预测点的坐标组成的坐标向量进行换算；其中，所述坐标网络为神经网络。

例如，在本公开一实施例提供的图像处理方法中，对所述多个待预测点的坐标组成的坐标向量进行换算包括：对所述多个待预测点的坐标组成的坐标向量进行升维操作以获取所述坐标特征，其中，所述坐标特征的维数与所述图像特征的所述第二维数相同。

例如，在本公开一实施例提供的图像处理方法中，利用预测器判断所述混合特征中坐标特征对应的待预测点是否为关键点；其中，所述预测器为神经网络。

例如，在本公开一实施例提供的图像处理方法中，所述混合特征表示为：

其中，f(img,coord)表示所述混合特征，h(img)表示所述检测框图像的图像特征，g(coord)表示坐标特征，所述坐标特征与所述图像特征的维数相同，表示按位相乘。

例如，在本公开一实施例提供的图像处理方法中，所述坐标特征表示为：

g(coord)＝w₁ReLU(w₂ReLU(w₃t))