[发明专利]一种基于深度网络上下文提升的人像检测与分割方法

说明书

本发明公开了一种基于深度网络上下文提升的人像检测与分割方法，具体包括基于深度网络框架，从人像图片中提取出L个不同尺度的深度特征；基于最高尺度特征，通过金字塔池化模块将最高尺度的深度特征在多个金字塔尺度上进行特征融合，生成全局先验信息；通过融合组块从高尺度向低尺度对深度特征的上下文信息进行提升并融合，得到每个尺度的输出特征；对每个尺度的输出特征分别进行优化与训练,完成人像检测与分割；通过该方法能够在不借助额外知识的情况下，从多尺度、多空间、多通道出发深入挖掘深度网络上下文信息，实现对单目图像进行精准人像检测与分割。

技术领域

本发明属于图像处理技术领域，特别是一种基于深度网络上下文提升的人像检测与分割方法。

背景技术

人像检测与分割，作为语义分割的一类特殊任务，拥有广泛的应用范围。针对美化应用，人像检测是人像图片风格化、景深虚化处理、抠图等应用的基础；对于安全保护应用，人像检测可以模糊处理、替换人像图片背景信息；单目图像的人像检测在实际应用中更加重要，因为相对于双摄像头拍摄的多目图像更加不受拍摄光线和距离限制。

基于深度学习的人像检测的主要挑战是不仅要准确定位人像，还要对人像与背景的边界进行精确分割，而人像的边缘细节如头发丝等加剧了边缘分割的难度。目前的基于深度学习的算法主要通过额外知识进行更加精细的人像检测与分割。

一些基于深度学习的算法通过将额外知识作为深度网络的额外输入来更准确定位网络。例如《Automatic portrait segmentation for image stylization》通过计算人像位置和形状范围作为深度网络的额外输入通道；《High-accuracy automatic personsegmentation with novel spatial saliency map》加入姿态检测子生成人体关键点图像作为深度网络的额外输入通道。额外输入虽然有利于精准定位人像，但需要额外计算和内存要求，同时对边缘分割并无帮助。

一些基于深度学习的算法将额外标定(如边缘标定)作为深度网络训练的额外知识。这些额外边缘标定帮助深度网路精细化边缘细节。但实际上，边缘标注成本昂贵，且目前的大部分数据集的边缘标定基于手动人像标定，边缘附近的精细度很模糊。因此，边缘标注对概括人像形状有益，却对精确边缘分割影响力很小。

因此，如何在不借助额外知识的情况下进行精细化人像检测与分割，成为当前研究的关键问题。

发明内容

鉴于上述问题，本发明提供一种至少解决上述部分技术问题的一种基于深度网络上下文提升的人像检测与分割方法，在不借助额外知识的情况下，从多尺度、多空间、多通道出发深入挖掘深度网络上下文信息，对单目图像进行人像检测与分割。

本发明实施例提供了一种基于深度网络上下文提升的人像检测与分割方法，包括：

S1、基于深度网络框架，从人像图片中提取出L个不同尺度的深度特征；

S2、基于最高尺度特征，通过金字塔池化模块将最高尺度的所述深度特征在多个金字塔尺度上进行特征融合，生成全局先验信息；

S3、通过融合组块从高尺度向低尺度对所述深度特征的上下文信息进行提升并融合，得到每个尺度的输出特征；

S4、对所述每个尺度的输出特征分别进行优化与训练,完成人像检测与分割。

进一步地，所述S2具体包括：

S21、通过平均池化层对所述深度特征进行特征尺寸缩小，生成尺寸分别为1×1、3×3和5×5的特征；

S22、通过卷积核为1×1的卷积层分别对所述尺寸分别为1×1、3×3和5×5的特征进行降维，得到三个降维特征；

S23、通过双线性插值对所述三个降维特征进行上采样，将所述深度特征和上采样处理后的三个特征进行拼接，得到第一拼接特征；