[发明专利]RGBD显著性检测方法以及相关装置

说明书

本申请提供了RGBD显著性检测方法及装置，方法包括：将RGB图像和深度图像导入到含多个特征提取模块和多个特征强化模块的神经网络模型处理，获得多个跨模态特征图；其中任意的特征提取模块用于对输入数据进行特征提取以获得该特征提取模块的处理结果；其中任意的特征强化模块用于对深度图像进行特征提取获得深度对比度增强图，并利用其优化特征提取模块的处理结果，以获得该特征强化模块的跨模态特征图。最后，利用金字塔模型对多个跨模态特征图进行融合获得显著性检测的检测结果图。实施本申请有利于在低对比度等复杂场景下取得较好的显著性检测效果。

技术领域

本申请涉及人工智能领域，尤其涉及RGBD显著性检测方法以及相关装置。

背景技术

人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。

人类的视觉感知系统在对场景进行感知时，除了获取颜色、形状等外貌信息外，还可以感知场景的深度信息，即景深。随着成像设备的发展，基于此原理开发的RGBD(RedGreen Blue Depth，红色绿色蓝色深度)摄像头可用来获取RGB图像信息和深度信息。RGB图像信息可提供拍摄场景的颜色、光照等信息，深度信息可提供该拍摄场景的景深、立体形状、位置距离等信息。目前针对RGBD数据已开展了广泛的研究，例如RGBD显著性检测。

作为计算机视觉领域的一项重要预处理技术，视觉显著性检测已广泛应用于检测、编码、增强、压缩等领域。在一张图片中，检测最具备视觉显著性的物体或区域是显著性检测的主要研究目标。它基于生物学理论中的人眼注意机制，从RGB图像中提取特征，对特征处理后得到显著性检测结果。

随着深度学习的发展，卷积神经网络被应用于显著性检测领域，通过将网络模型在大体量数据集上训练提高了显著性检测的效果。然而，现有显著性检测方案中，比如低对比度、小物体、多个物体等复杂场景，显著性检测的效果并不显著，如何更好提高显著性检测效果仍是一种技术挑战。

发明内容

本申请实施例提供了RGBD显著性检测方法以及相关装置，有利于提高显著性检测的普适性，在诸如低对比度、小物体、多个物体等复杂场景下也能取得较好的显著性检测效果。

第一方面，本申请实施例提供了一种RGBD显著性检测方法，该方法包括：获取RGB图像和与所述RGB图像配准的深度图像；将RGB图像导入到包含N个特征提取模块和N个特征强化模块的神经网络模型进行处理，以及将深度图像导入神经网络模型进行处理，获得N个特征强化模块的N个跨模态特征图；对N个跨模态特征图进行融合，获得检测结果图。其中，N为大于等于2的整数。神经网络模型中的特征提取模块和特征强化模块交替连接设置。其中，N个特征提取模块中的第j个特征提取模块的处理包括：对所述第j个特征提取模块的输入数据进行特征提取，获得所述第j个特征提取模块的处理结果并输出到所述N个特征强化模块中的第j个特征强化模块；其中，当j等于1时，所述输入数据为所述RGB图像，当j不等于1时，所述输入数据为第j-1个特征强化模块输出的跨模态特征图；j为大于等于1且小于等于N的整数；其中，N个特征强化模块中的第j个特征强化模块的处理包括：对导入至所述第j个特征强化模块的深度图像进行特征提取，获得深度对比度增强图；利用所述深度对比度增强图优化所述第j个特征提取模块的处理结果，获得所述第j个特征强化模块的跨模态特征图；