[发明专利]一种用于FPGA实现的缝合线实时查找方法

说明书

技术领域

本发明属于图像信息处理领域，涉及视频拼接中的缝合线实时查找方法，尤其涉及一种用于FPGA实现的缝合线实时查找方法。

背景技术

近年来，随着视频监控技术的发展，利用鱼眼镜头获取180度全景图像的技术越来越成熟。所谓180度全景图像，指的是在水平方向对180度视角范围内的场景拍摄所成的图像，由于是采用鱼眼镜头成像，图像会发生畸变。虽然180度全景图像满足了大视角范围内成像的需求，能够得到180度视角范围内的所有景物，但由于受图像分辨率的限制，对图像中某些景物的细节方面表现不足，无法达到实际监控的需要。180度鱼眼镜头成像镜头虽然具有大视野、宽视角场景的优势，但是其分辨率不高成为其发展应用的瓶颈。

高速球是现今安防市场中的高端一体化摄像设备。这种摄像机能够快速精准的聚焦定位、缩小放大和快速平稳的环视浏览，使得用户可以快速监控目标的细节如可疑人物的面部特征、肇事车辆的车牌号等。但高速球的观察范围有限，不能同时兼顾多个不同的场景。

因此，具有大视野、宽视角场景，同时拥有高分辨率的视频监控成为安防邻域新的突破方向。由于单个CMOS采集图像像素基本达到极限，现阶段提高图像分辨率的技术主要是将多个CMOS获取的图像进行拼接。图像拼接技术已经比较成熟，效果也比较好，然而视频拼接在实时性上的要求，成为视频拼接技术的瓶颈。

视频拼接技术与图像拼接技术基本一样，主要包括三个步骤：配准、缝合线查找以及融合。配准过程是确定有关联的多个图像在同一个坐标系下的位置，这里采用查找表映射的方法进行变换；配准过程完毕之后，对图像重叠部分缝合线的计算；计算得到缝合线之后，采用金字塔融合技术进行融合，消除拼缝的视觉影响。这三个过程中，缝合线的查找算法的优劣直接决定着视频拼接实时性的好坏，缝合线的查找算法是视频拼接中的关键环节。

FPGA即现场可编程门阵列，较于PC在实时性上具有很大的优势。FPGA采用硬件并行处理，打破了顺序执行的模式，在每个时钟周期内可以完成更多的处理任务。另外成本较低，稳定性优良是FPGA的另一优势。因此使用FPGA来处理视频拼接，从硬件本身来说，就极大提高了处理速度，为视频拼接的实时处理创造了硬件基础。

本发明提出一种用于FPGA实现的缝合线实时查找方法，可以实现缝合线的实时查找，而且其算法充分利用FPGA的并行特性，非常适合在FPGA上实现，对于实现高分辨率并且同时具有大视野、宽视角场景的视频实时监控具有非常重要的意义。

发明内容

本发明针对图像拼接中缝合线查找算法不能满足视频拼接实时性要求的问题，提出一种用于FPGA实现的、基于前后帧约束的改进动态规划方法，实现视频拼接的缝合线实时查找。该方法首先计算对齐帧的重叠区域的差异，然后利用前后帧之间的相关信息重新计算差异矩阵，最后利用改进的动态规划算法计算查找缝合线。整个方法计算消耗小，可以达到实时处理的要求。

本发明采用的技术方案是：

一种用于FPGA实现的缝合线实时查找方法，包括以下步骤：

S1.获取经过标定的当前时刻各路摄像机采集的图像帧，得到各图像帧的相对位置关系，确定各相邻图像帧之间的重叠区域；

S2.计算每个相邻图像帧之间的重叠区域在Lab颜色空间下的图像差异，得到该重叠区域的差异矩阵；

S3.利用前后帧之间该重叠区域的相关信息重新计算差异矩阵：以前一时刻该图像帧重叠区域中所计算的缝合线位置为基准，以水平方向向两边扩展，根据重叠区域内每个像素点与该缝合线的水平直线距离计算一个权值矩阵，将这个权值矩阵与步骤S2得到的差异矩阵求和，结果作为该重叠区域最终的差异矩阵；

S4.根据步骤S3得到的最终的差异矩阵，采用动态规划算法计算缝合线。

进一步地，所述步骤S4中采用动态规划算法计算缝合线的方法为：从当前时刻该图像帧重叠区域的上端到下端，搜索一条最优路径，使该最优路径经过的像素点位置的图像差异值之和最小，所述图像差异值是指最终的差异矩阵中该像素点位置对应的值，该最优路径即为该重叠区域的缝合线；在搜索最优路径时，对于当前位置像素点，不仅搜索下一行中与当前位置相邻的三个像素点，同时还搜索同一行中与当前位置像素点相邻的两个像素点。

进一步地，所述步骤S3中根据每个像素点距离该缝合线的直线距离计算一个权值矩阵的方法为：首先计算每个像素点位置距离该缝合线的水平距离d；然后计算该像素点的权值c₂＝Ae^bd，其中A与b为预设的参数；则得到了由每个像素点的权值组成的权值矩阵。