[发明专利]RGBD显著性检测方法以及相关装置

权利要求书

1.一种RGBD显著性检测方法，其特征在于，所述方法包括：

获取RGB图像和与所述RGB图像配准的深度图像；

将所述RGB图像导入到包含N个特征提取模块和N个特征强化模块的神经网络模型进行处理，以及将所述深度图像导入所述神经网络模型进行处理，获得所述N个特征强化模块的N个跨模态特征图；N为大于等于2的整数；

其中，所述N个特征提取模块中的第j个特征提取模块的处理包括：对所述第j个特征提取模块的输入数据进行特征提取，获得所述第j个特征提取模块的处理结果并输出到所述N个特征强化模块中的第j个特征强化模块；其中，当j等于1时，所述输入数据为所述RGB图像，当j不等于1时，所述输入数据为第j-1个特征强化模块输出的跨模态特征图；j为大于等于1且小于等于N的整数；

其中，所述N个特征强化模块中的第j个特征强化模块的处理包括：对导入至所述第j个特征强化模块的深度图像进行特征提取，获得深度对比度增强图；利用所述深度对比度增强图优化所述第j个特征提取模块的处理结果，获得所述第j个特征强化模块的跨模态特征图；

对所述N个跨模态特征图进行融合，获得检测结果图。

2.根据权利要求1所述的方法，其特征在于，所述对所述第j个特征提取模块的输入数据进行特征提取，包括：

对所述第j个特征提取模块的输入数据通过至少一个卷积层处理和至少一个池化层处理。

3.根据权利要求1或2所述的方法，其特征在于，所述对导入至所述第j个特征强化模块的深度图像进行特征提取，获得深度对比度增强图，包括：

对导入至所述第j个特征强化模块的深度图像通过卷积层集合处理以及通过激活函数处理，获得深度对比度增强图。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述利用所述深度对比度增强图优化所述第j个特征提取模块的处理结果，获得所述第j个特征强化模块的跨模态特征图，包括：

将所述深度对比度增强图与所述第j个特征提取模块的处理结果相乘，获得相乘后的结果；

将所述相乘后的结果与所述第j个特征提取模块的处理结果相加，获得所述第j个特征强化模块的跨模态特征图。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述神经网络模型还包括全连接层；所述对所述N个跨模态特征图进行融合，获得检测结果图，包括：

通过金字塔模型对所述N个跨模态特征图进行融合，获得融合结果；

将所述融合结果输出到所述全连接层进行处理，获得所述显著性检测的检测结果图。

6.根据权利要求5所述的方法，其特征在于，所述金字塔模型包括具有多个层的金字塔，从所述金字塔的底层到所述金字塔的顶层的各个层的图像数量依次递减，所述底层的图像集包括N个图像，所述N个图像与所述N个特征提取模块输出的N个跨模态特征图一一对应；

所述通过金字塔模型对所述N个跨模态特征图进行融合，获得融合结果，包括：

按照从所述金字塔的底层到所述金字塔的顶层的顺序，获得除所述底层外的每一层的图像集；其中，除所述底层外的任一层的图像集中，任一图像为根据前一更低层的图像集中尺度不大于所述任一图像的尺度的所有图像融合而成，所述顶层的图像集包括一个图像；

将所述顶层的所述一个图像作为所述融合结果。

7.根据权利要求5所述的方法，其特征在于，所述金字塔模型包括具有多个层的金字塔，从所述金字塔的底层到所述金字塔的顶层的各个层的图像数量依次递减，所述底层的图像集包括N个图像，所述N个图像与所述N个特征提取模块输出的N个跨模态特征图一一对应；

所述通过金字塔模型对所述N个跨模态特征图进行融合，获得融合结果，包括：

按照从所述金字塔的底层到所述金字塔的顶层的顺序，通过融合填充获得除所述底层外的每一层的图像集；其中，除所述底层外的任一层的图像集中，任一图像为根据前一更低层的图像集中尺度同所述任一图像相同的一个图像和尺度比所述任一图像小的一个图像两者融合而成，所述顶层的图像集包括一个图像；

将所述顶层的所述一个图像作为所述融合结果。