[发明专利]一种基于扑翼飞行系统的实时电子稳像方法

说明书

本发明公开了一种基于扑翼飞行系统的实时电子稳像方法。本发明方法首先利用Harris角点检测算法和KLT算法求解出图像内角点的局部运动矢量，利用最小二乘法拟合得到相邻帧间的全局运动矢量；之后针对扑翼飞行的特点，采用Savitzky‑golay滤波与Kalman滤波相结合方法，提取出需要保留的运动参数；接着，利用加速度传感器检判定扑翼飞行器的飞行状态，自适应选择相邻帧补偿算法或者固定帧补偿算法，对图像进行运动补偿；最后，利用双线性插值算法对图像进行放大后将边缘未定义部分区域进行裁剪，便能得到相对稳定的视频。该稳像算法相对简单，实时性好，较好地解决了扑翼飞行器在飞行过程中由于机身抖动导致其摄像系统拍摄的视频出现抖动的问题。

技术领域

本发明涉及数字图像处理技术领域，具体涉及一种基于扑翼飞行系统的实时电子稳像方法。

背景技术

近年来，国内外学者和科研人员对仿生扑翼式飞行器进行大量的研究，取得了一定成就。扑翼飞行器的气动性能理论比固定翼和旋翼飞行器要复杂。尤其在低雷诺数下，扑翼飞行器能充分利用非定常空气动力学特性获取更高的升力，在相同能量的消耗下，其续航时间、里程都能更长、能够广泛运用于表演、航拍、监控、测绘、救灾等场景。

视频图像是扑翼飞行器自身导航以及获取任务执行目标信息最主要的手段之一，然而相比于固定翼或者四旋翼飞行器，扑翼飞行器的理论研究不够深入、完善，设计制作出的扑翼飞行器远不如固定翼或者旋翼飞行器稳定。扑翼飞行器自重轻，飞行时翼展扑动带来的高频震动，加上外界气流的影响，所以扑翼飞行器机载设备拍摄的视频抖动剧烈。以平行于地面的直线线路为目标线路的飞行过程为例，由于扑翼飞行器上扑行程和下扑行程不对称，所以扑翼飞行器总是围绕着目标线路上下波动，即扑翼飞行器在Y轴方向上的抖动更加剧烈。但是目前几乎没有专门针对扑翼飞行器航拍视频而设计电子稳像算法，相关实验研究也很少。

目前主流的稳像方式有三种：机械式稳像、光学稳像、电子稳像。机械稳像体积大、重量大，根本不适用于低负载的扑翼飞行器，光学稳像效果好但是成本昂贵，只能满足特定方向上的防抖，电子稳像技术以其体积小、重量轻、能耗低、价格低、可移植性高、维护简单和易于升级等众多优点成为小型飞行器的首选，对于扑翼飞行器更是如此。

发明专利202010328381.1公开了一种随机抖动干扰下视频图像的实时电子稳像方法，利用SURF算法检测图像的特征点，但是该算法的实时性不高，并且对于边缘光滑目标的特征点提取能力比较弱。在完成放射变换后，并没有对出现的未定义空白区域进行修复，影响稳像效果。发明专利201710563620.X公开了一种基于改进的KLT和卡尔曼滤波的电子稳像方法，但并没有给出图像修复的具体方法，当扑翼飞行器飞行时产生的抖动比较剧烈时，仅仅靠单纯的边缘裁剪以完成对图像未定义区的修复达到的效果是不尽如人意的。发明专利201810921737.5公开了一种水下机器人实时电子稳像方法结合IMU单元检测出的姿态信息，来计算图像帧间的运动矢量，对视频进行稳像处理，但是机器人的姿态信息并不能完全代表图像帧间的信息，存在一定误差，此外该方法对IMU的精度要求极高，稳像的质量不能得到保证。

发明内容

针对上述状况，本发明提出一种结合光流法和Savitzky-golay滤波与Kalman滤波的实时电子稳像算法，光流法可以跟踪匹配视频帧序列参考帧和目标帧之间的特征角点，并计算出这些特征点的运动矢量；Savitzky-golay滤波可以过滤掉由于扑翼飞行器随机抖动产生的运动矢量，也可看成噪声，保留主动运动矢量；利用加速度传感器，确定扑翼飞行器的飞行状态，自适应选择固定帧补偿或者相邻帧补偿，以完成对视频序列的精确补偿；最后，利用插值算法对图像进行放大后将边缘未定义部分区域进行裁剪，便能得到相对稳定的视频。

一种基于扑翼飞行系统的实时电子稳像方法，其特征在于，

所述扑翼飞行系统包括：扑翼飞行器样机、微处理器、无线图传模块、加速传感器、摄像头、锂电池模块、远程服务终端；