[发明专利]基于空域、频域、时域的夜间视频序列显著性检测方法

说明书

本发明公开了一种基于空域、频域、时域的夜间视频序列显著性检测方法，包括如下步骤：针对空域显著性检测，将视频帧分割成超像素，计算其局部和全局协方差矩阵；针对频域显著性检测，调整幅度谱并与原始相位谱组合再执行快速傅里叶逆变换；针对时域显著性检测，通过增量学习以更新高维视频流中的背景模型，通过背景差分法获得运动目标；将空域显著图、频域显著图和时域显著图进行动态权重融合，得到整个图像的显著图。本发明通过多模态融合策略使空间域、频率域和时间域可以互相补充和约束，最大程度地提高了显著物体检测的效率，能够高效的获得更加准确的显著图，同时对于夜间视频帧，能够很好的提取出显著性目标。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于空域、频域、时域的夜间视频序列显著性检测方法。

背景技术

在过去的几十年中，显著性检测的研究呈指数增长。由于人类视觉系统具有注意力机制，因此人们可以从复杂的环境中快速挑选出最有趣的区域。通过模拟这种机制，显著目标检测在各种应用中具有巨大潜力，包括自动目标检测、图像分割、目标识别等。

显著性检测作为图像处理中的一项至关重要的技术，可以从混乱的环境中高效地提取最有用的信息，因此在计算机视觉领域越来越受到关注。现有的显著性模型可以在环境良好控制的标准图像数据集或视频数据集中获得理想的检测结果。但是，这些传统的显著性计算模型面临亮度低、信噪比低、几乎没有色彩信息属性的夜间图像/视频的巨大挑战，由于缺乏明确的特征而难以解释显著性信息。在这种情况下，很难提取有效的视觉特征来描述重要信息。因此，夜间视频中的显著性检测仍然是一项艰巨的任务。由于在夜间条件下，前景与背景之间几乎没有差异，因此传统的显著性模型无法获得令人满意的结果。

发明内容

本发明为了克服以上技术的不足，提供了一种基于空域、频域、时域的夜间视频序列显著性检测方法，该方法在夜间视频序列中有效，能够为夜间安防、军事夜间侦察、夜间智能农业技术、无人驾驶汽车、复杂环境目标定位等热点问题提供解决方案。

通常，空间域方法主要着眼于局部信息，并且可以检测到显著物体的内部细节，而它们却很难突出物体的轮廓，并且对复杂的背景敏感。相反，频域方法旨在利用全局信息，它们可以准确地定位显著目标并定义边缘信息。由于运动目标比静态目标更出色，因此可以通过时域方法有效地抑制无关的背景信息。多模态融合策略使这些方法可以互相补充和完善，最大程度地提高显著物体检测的效率。本发明提出的基于空域、频域、时域的夜间视频序列显著性检测方法，可以通过多模态融合策略学习夜间视频序列中的显著特征来估计视频序列的显著性。

本发明克服其技术问题所采用的技术方案是：

一种基于空域、频域、时域的夜间视频序列显著性检测方法，包括如下步骤：

针对空域显著性检测，将视频帧分割成超像素，计算其局部和全局协方差矩阵；

针对频域显著性检测，调整幅度谱并与原始相位谱组合再执行快速傅里叶逆变换；

针对时域显著性检测，通过增量学习以更新高维视频流中的背景模型，通过背景差分法获得运动目标；

将空域显著图、频域显著图和时域显著图进行动态权重融合，得到整个图像的显著图。

进一步地，空域显著性检测的步骤包括：

S11、将输入的视频帧分割成超像素并定义图模型；

S12、建立基于图模型的流形排序模型；

S13、计算低级特征的协方差矩阵，用以估计每个超像素的局部和全局显著性；

S14、通过实施扩散过程优化超像素级显著性图。

进一步地，步骤S11具体包括：

利用简单的线性迭代聚类算法将给定的视频帧简化为超像素：