[发明专利]一种基于卷积神经网络的立体图像视觉显著性检测方法

说明书

本发明公开了一种基于卷积神经网络的立体图像视觉显著性检测方法，其构建卷积神经网络，包含输入层、隐层、输出层，输入层包括RGB图输入层和深度图输入层，隐层包括编码框架和解码框架，编码框架由RGB特征提取模块、深度特征提取模块和特征融合模块组成；将训练集中的每幅立体图像的左视点图像和深度图像输入到卷积神经网络中进行训练，得到训练集中的每幅立体图像的显著性图像；计算训练集中的每幅立体图像的显著性图像与真实人眼注视图像之间的损失函数值，重复执行多次后得到卷积神经网络训练模型；待测试的立体图像的左视点图像和深度图像输入到卷积神经网络训练模型中，预测得到显著性预测图像；优点是其具有较高的视觉显著性检测准确性。

技术领域

本发明涉及一种视觉显著性检测技术，尤其是涉及一种基于卷积神经网络的立体图像视觉显著性检测方法。

背景技术

视觉显著性是近年来神经科学、机器人技术、计算机视觉等多个领域的热门研究课题。关于视觉显著性检测的研究可以分为两大类：眼球注视预测和显著性目标检测。前者是预测人在观看自然景物时的若干注视点，后者是准确提取感兴趣的物体。一般来说，视觉显著性检测算法可以分为自顶向下和自底向上两类。自顶向下的方法是任务驱动的，需要监督学习。而自底向上的方法通常使用低层线索，如颜色特征、距离特征和启发式显著性特征。最常用的启发式显著性特征之一是对比度，例如基于像素或基于块的对比度。以往对视觉显著性检测的研究大多集中在二维图像上。然而发现，首先，三维数据代替二维数据更适合实际应用；其次，随着视觉场景变得越来越复杂，仅利用二维数据来提取突出的物体是不够的。近年来，随着诸如Time-of-Flight传感器和Microsoft Kinect等三维数据获取技术的进步，推动了结构有限元法的采用，提高了外观相似的不同物体之间的识别能力。深度数据易于捕获，与光线无关，还可以提供几何线索，提高视觉显著性预测。由于RGB数据与深度数据的互补性，提出了大量将RGB图像与深度图像成对组合用于视觉显著性检测的方法。之前的工作主要集中在利用领域特定的先验知识来构建低层次的显著性特征，例如人类倾向于更关注更近的对象，然而这种观察很难推广到所有的场景。在以往的大部分工作中，多模态融合问题都是通过直接序列化RGB-D通道来解决的，或者独立处理每种模态，然后结合两种模态的决策。虽然这些策略取得了很大的改进，但它们很难充分探索跨模式互补。近年来，随着卷积神经网络(CNNs)在学习RGB数据判别特征方面的成功，越来越多的工作利用CNNs探索更强大的有效多模态组合的RGB-D表示。这些工作大多基于两流的体系结构，其中RGB数据和深度数据在一个独立的自底向上的流中学习，并在早期或后期结合特征进行联合推理。作为最流行的解决方案，双流架构比基于手工RGB-D特性的工作实现了显著的改进，然而，存在最关键问题：如何有效的利用自底向上过程中的多模态互补信息。因此，有必要对RGB-D图像视觉显著性检测技术进行进一步研究，以提高视觉显著性检测的准确性。

发明内容

本发明所要解决的技术问题是提供一种基于卷积神经网络的立体图像视觉显著性检测方法，其具有较高的视觉显著性检测准确性。

本发明解决上述技术问题所采用的技术方案为：一种基于卷积神经网络的立体图像视觉显著性检测方法，其特征在于包括训练阶段和测试阶段两个过程；

所述的训练阶段过程的具体步骤为：