[发明专利]一种多模式实时电子稳像系统

说明书

技术领域

本发明涉及一种多模式实时电子稳像系统，用于完成不同平台和环境下视频图像的高精度、实时性处理，属于图像处理领域。

背景技术

21世纪以来，电子稳像技术以其易操作、高精度、体积小以及价格低、能耗小、智能化等特点，在军事领域、民用航测以及摄影系统中得到广泛的应用。但是，传统的电子稳像理论和技术存在一些难题：1)运动平台环境和特征复杂，成像条件多变，各种运动与图像之间的数学模型建立非常艰难；2)实际拍摄景物的复杂性和多样性，导致了稳像算法的通用性、实时性差；3)由于工作模式和成像理论多年来未有根本性突破，目前的电子稳像技术仍有许多不足，比如高频抖动带来的模糊问题，导致成像的清晰度不足以及稳像精度低。

针对以上难点，国内外研究工作者提出了一系列的电子稳像算法和实现技术，如一种在大型搜索窗中进行运动估计的向量跟踪算法，参见M.Mattavelli，“Vector-tracing algorithm formotion estimation in large search windows”，IEEE Trans.Circuits Syst.Video Techno，2000，Vol.10，1426-1437；基于代表点匹配的电子稳像算法，参见钟平，“一种改进的代表点匹配算法在稳像技术中的应用”，光学技术，2005，Vol.31，No.5，742-745；基于梯度信息的全局运动向量估计算法，参见T.Marius，A.Sakari，V.Markku，“Method of Motion Estimation forImage Stabilization”，IEEE ICASSP，2006，Vol.2，277-280；基于车载的电子稳像技术，参见Hsu Sheng-Che，Liang Sheng-Fu，Fan Kang-Wei，Lin Chin-Teng，“A Robust in-car digital imagestabilization technique”，IEEE Transactions on Systems，Man and Cybernetics，2007，Vol.37，No.2，234-247。电子稳像算法研究比较多，但是，这些方法都忽略了平台与图像之间的关系，忽视了图像中背景和目标也存在运动的影响，仅适用于处理信息较单一的图像序列，尤其是图像信息复杂多变，这些方法各自的局限性使其都无法满足实时性和高精度的要求。

国内对电子稳像技术的研究起步较晚，目前仍处于初级阶段，大多数研究者只是单一研究特定运动平台下的电子稳像算法的研究，如机载、车载或者船载等稳像算法。工程应用的电子稳像技术主要利用陀螺传感器和伺服控制系统构成的稳定平台来进行稳像的，而伺服系统固有的体积大、造价高、消耗功率大等缺点，在很多的场合往往难于满足军事和民用设备进一步发展的需要。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种多模式实时电子稳像系统，该系统具有多模式、高精度、实时性、抗高频振动及智能化的特点，以及结构简单、便于集成、易于操作等优点。

本发明的技术解决方案是：一种多模式实时电子稳像系统，主要包括数学模型和预处理模块、帧间稳像模块和帧内稳像模块。其中帧间稳像模块包括基于感兴趣区域全局运动估计单元、运动矢量滤波单元、运动决定单元和运动补偿单元；数学模型和预处理模块与帧间稳像模块中的基于感兴趣区域全局运动估计单元连接，基于感兴趣区域全局运动估计单元分别与运动矢量滤波单元和帧内稳像模块连接，运动矢量滤波单元、运动决定单元和运动补偿单元依次顺序连接，运动补偿单元分别与帧内稳像模块和外部的DSP并行处理连接；

其中，数学模型和预处理模块建立多模式电子稳像数学模型并完成输入视频运动类型的判定；帧间稳像模块中的基于感兴趣区域全局运动估计单元完成对感兴趣区域进行全局运动估计，对图像进行处理估算出当前帧相对于参考帧的全局运动偏移量，即由摄像机参数或者位置变化而引起的整个图像的变化，然后通过运动矢量滤波单元对图像进行滤波，并将滤波后的图像发送至运动决定单元；运动决定单元对检测出来的全局运动矢量进行分析，判断该运动是由摄像载体的随机抖动引起的，还是属于摄像机正常扫描运动，或者是两者兼有；运动补偿模块根据无意运动分量作为待补偿参数，直接使图像上的像素按照被检测出的运动偏移反方向做等量移动，以实现图像的行、列重组；帧内稳像模块针对由高频振动引起的图像帧内模糊，进行帧内图像的空间可变运动模糊的图像复原。