[发明专利]基于多尺度特征融合的视觉场景中镜面检测方法、系统

说明书

本发明涉及一种基于多尺度特征融合的视觉场景中镜面检测方法、系统，该方法包括：提取原始图像的多尺度特征，得到多层级特征；对于每一层级的特征，分别与相邻层级的特征进行特征堆叠与融合，得到每一层级下同时包含深层次语义信息以及高分辨率下位置信息的融合特征；基于各层级的融合特征，从最深层级开始逐层向浅层级合并解码得到镜面检测结果。与现有技术相比，本发明融合多尺度的特征信息，对镜面目标的检测能力增强。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种基于多尺度特征融合的视觉场景中镜面检测方法、系统。

背景技术

镜面在我们的日常生活中随处可见，而当基于深度学习的计算机视觉系统被越来越多应用到我们的日常生活的场景中时。现存的计算机视觉系统在遇到镜面时，往往会导致对场景的深度信息预测错误，实物和镜面的倒影无法区分开来。而要解决镜面的检测问题最大的障碍就是，镜面的倒影和实物，对于计算机视觉系统而言是几乎相同的。

随着深度学习技术的发展，基于深度学习技术的目标物体检测和语义分割方法都有了长足的进步，在很多场景的应用中也取得了很好的效果，但是当场景中出现镜面的情况下，往往导致整个系统的性能出现极大的降低。因此，在计算机视觉中如何合理地检测出镜面对提高任务性能有着十分重要的意义。

现有的基于深度学习的目标物体检测和语义分割方法，对于场景中出现的镜面的情况都不能够得出很好的结果。因为镜面的倒影和实物在一定的感受野下是十分相似的，而人判断镜面倒影和实物通常是根据镜面边缘不连续的色彩和纹理信息，因此融合多尺度的特征信息，增强特征的表达能力十分重要。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种融合多尺度的特征信息、对镜面目标的检测能力增强的基于多尺度特征融合的视觉场景中镜面检测方法、系统。

本发明的目的可以通过以下技术方案来实现：

一种基于多尺度特征融合的视觉场景中镜面检测方法，该方法包括：

提取原始图像的多尺度特征，得到多层级特征；

对于每一层级的特征，分别与相邻层级的特征进行特征堆叠与融合，得到每一层级下同时包含深层次语义信息以及高分辨率下位置信息的融合特征；

基于各层级的融合特征，从最深层级开始逐层向浅层级合并解码得到镜面检测结果。

优选地，所述的融合特征具体通过如下方式获得：

S100：记当前处理的层级下的特征为fⁱ，对浅一层级提取到的特征f^i-1进行下采样，使得特征图的尺寸和fⁱ对齐；

S110：对深一层级提取到的特征fⁱ⁺¹进行插值上采样，使得特征图的尺寸和fⁱ对齐；

S120-S140：对经过上、下采样的fⁱ⁺¹、f^i-1以及fⁱ分别进行卷积操作，得到通道数一致的中间特征；

S150：将得到的中间特征拼接在一起；

S160：将拼接的中间特征送入卷积层进行运算；

S170：fⁱ通过单一卷积层进行运算；

S180：将S160、S170的运算结果叠加得到融合特征。

优选地，从最深层级开始逐层向浅层级合并解码具体包括：

对最深层级的融合特征进行空洞卷积交互融合操作，将输出特征进行非线性变化组合；