[发明专利]基于空间-语义通道的协同显著目标检测方法

摘要

本发明公开了一种基于空间‑语义通道的协同显著目标检测方法。本发明通过模拟人类视觉，根据图像间的协同辅助规则，对待检测的群组图像中彩色图和图像深度图，进行空间协同和语义协同双通道并行处理，利用协同显著性先验获得两种初步协同显著图，融合两个初步协同显著图，得到最终的协同显著图，实现复杂场景群组图像中共同的显著目标的检测，有效地突出了群组图像的共同显著目标并且抑制了复杂的背景噪声，使得本发明具有较好的检测结果，提高了检测的准确率和召回率。

主权项

1.一种基于空间‑语义通道的协同显著目标检测方法，其特征在于，该方法是对待检测的群组图像中彩色图和图像深度图，完成空间协同和语义协同双通道并行处理，在每个通道分别对像素聚类和对区域进行聚类，利用每个通道的协同显著性先验分别对该通道的聚类结果进行处理，获得空间协同显著图和语义协同显著图，融合两个初步协同显著图得到最终协同显著图，实现复杂场景群组图像中共同显著目标的检测，具体步骤包括如下：(1)提取图像像素级特征：(1a)输入待检测的群组图像的彩色图像和深度图像，每组图像包含M幅图像，M表示大于等于2的正整数，每幅图的尺寸为a行b列,共有a×b个像素；(1b)从每幅彩色图像中提取每个像素的3维红绿蓝RGB颜色特征，以及每个像素相对于图像左上角像素的行和列的序号；(1c)从与每幅彩色图对应的深度图像中提取每个像素的1维深度值；(1d)将3维红绿蓝RGB颜色特征、行和列的2维序号特征、1维深度值拼接在一起，得到每个像素的6维特征；(1e)将图像的所有像素特征按列拉成一个(a×b)×6的特征矩阵；(1f)将待测图像组中所有图像的特征矩阵，按照纵向排列，得到待检测的群组图像的特征矩阵；(2)对像素进行聚类：采用K‑means聚类方法，对待检测的群组图像的特征矩阵中所有像素的特征进行K聚类处理，得到K类像素对应的特征中心，以及每一类所包含的所有像素的位置坐标，K取3M和20之间的最小值；(3)计算每一类的显著值：(3a)利用特征对比度FCP公式，计算聚类后每一类像素的特征中心与其他每一类像素的特征中心的特征对比度FCP，将该特征对比度FCP作为第一种显著值；(3b)利用深度偏置DBP公式，计算聚类后每一类的所有像素的深度特征的深度偏置DBP，将该深度偏置DBP作为第二种显著值；(3c)利用空间偏置SBP公式，计算聚类后的每一类包含的所有像素的位置特征的空间偏置SBP，将该空间偏置SBP作为第三种显著值；(4)计算全局分布度GCP：利用全局分布度GCP公式，计算聚类后的每一类包含的所有像素在待测图像组中的全局分布度GCP，将该全局分布度GCP作为协同值；(5)获得空间协同处理通道的空间协同显著图：(5a)将每一类的三种显著值和协同值相乘，得到融合后的每一类的协同显著值；(5b)将每一类的协同显著值作为该类包含的每一个像素的显著值，得到空间协同处理通道的空间协同显著值；(5c)将待测图像组中每幅图像中所有像素的空间协同显著值，组成与待测图像组中每幅图像对应的空间协同显著图；(6)提取图像区域级特征：(6a)采用稀疏稠密重建误差的显著检测方法，得到待检测群组图像中每幅图的单一显著值；(6b)利用gPb‑owt‑ucm方法，将待检测群组图像中的每幅彩色图分割成多个区域；(6c)求每个区域所包含的所有像素的单一显著值的平均值，将该平均值作为该区域的显著值；(6d)将所有区域中显著值大于0.4的区域，作为潜在目标区域；(6e)提取每一个潜在目标区域的特征，得到待检测的群组图像的潜在目标区域的特征矩阵；(7)对区域进行聚类：采用K‑means聚类方法，对待检测的群组图像的潜在目标区域的特征矩阵进行聚类处理，得到L类区域对应的特征中心以及每一类所包含的区域所在图像的序号；(8)获得每一类区域的协同显著值：(8a)用每一类区域涉及的图像数除以待测图像组的图像总数，得到每一类区域的深度范围一致性DRP；(8b)将每一类区域的深度范围一致性与该类区域的平均显著值相乘，得到每一类区域的协同显著值；(9)获得语义协同处理通道的语义协同显著图：(9a)将每一类区域的协同显著值作为该类包含的每一个像素的显著值，得到语义协同处理通道的语义协同显著值；(9b)将待测图像组中每幅图像中所有像素的语义协同显著值，组成与待测图像组中每幅图像对应的语义协同显著图；(10)获得协同显著图：(10a)将待测图像组中每幅图像的空间协同显著图与语义协同显著图的每一个像素的协同显著值对应相加，得到融合后的每一个像素的协同显著值；(10b)将待测图像组中每幅图像中所有像素的协同显著值，组成与待测图像组中每幅图像对应的协同显著图，协同显著图中最亮的区域就是待测图像组中共同的显著目标区域。