[发明专利]一种基于扑翼飞行系统的实时电子稳像方法

权利要求书

1.一种基于扑翼飞行系统的实时电子稳像方法，其特征在于，

所述扑翼飞行系统包括：扑翼飞行器样机、微处理器、无线图传模块、加速传感器、摄像头、锂电池模块、远程服务终端；

所述微处理器分别与所述的摄像头、加速传感器、无线图传模块通过有线方式依次连接；所述无线图传模块与所述远程服务终端通过无线方式依次连接；

所述的微处理器、无线图传模块、加速传感器、摄像头、锂电池模块均放置于所述扑翼飞行器样机上；

所述锂电池模块分别与所述的微处理器、无线图传模块、加速传感器、摄像头通过有线方式依次连接；

所述摄像头用于采集视频帧序列，并视频帧序列传输至所述微处理器；所述微处理器将视频帧序列通过无线图传模块无线传输至所述远程服务终端；

所述加速传感器用于采集X轴加速度、Y轴加速度、Z轴加速度，并将X轴加速度、Y轴加速度、Z轴加速度传输至所述微处理器；所述微处理器将X轴加速度、Y轴加速度、Z轴加速度通过无线图传模块无线传输至所述远程服务终端；

所述实时电子稳像方法包含以下步骤：

步骤1：所述远程服务终端利用Harris角点检测算法检测出视频帧序列的参考帧图像中多个特征角点，利用KLT算法在视频帧序列的目标帧图像中跟踪视频帧序列的匹配参考帧图像中的特征角点得到跟踪匹配的视频帧序列的参考帧图像中的特征角点，结合跟踪匹配的视频帧序列的参考帧图像中的特征角点构建视频帧序列的目标帧图像与视频帧序列的参考帧图像的刚性变换模型，通过最小二乘法拟合得到最优解，即为视频帧序列的参考帧图像与视频帧序列的目标帧图像之间的全局运动矢量；

步骤2：所述远程服务终端将视频帧序列的参考帧图像与视频帧序列的目标帧图像之间的全局运动矢量进行累加处理，得到帧序列间的运动轨迹，分别利用Savitzky-golay滤波算法和Kalman滤波算法对帧序列间的运动轨迹进行平滑处理，得到只包含主动运动的帧序列间的运动轨迹，通过计算求得目标帧相对于参考帧只包含主动运动的运动矢量；

步骤3：通过加速度传感器采集X轴加速度、Y轴加速度、Z轴加速度，分别计算X轴速度、Y轴速度、Z轴速度，进一步选择对应补偿算法，对视频帧序列中每幅图像依次进行补偿得到稳定的视频帧序列；稳定的视频帧序列中每幅图像利用双线性插值算法进行图像放大得到放大后的视频帧序列，将放大后的视频帧序列中每幅图像边缘的未定义区域裁剪掉，得到去除了未定义区的稳定帧序列；

步骤1所述视频帧序列为：

{f₁,f₂，…，f_M}

其中，M表示视频帧序列中帧图像的数量，f_m为视频帧序列的第m帧图像，定义f_p为视频帧序列的第p帧参考帧图像，m∈[1,M]，p∈[1,m)，定义f_q为视频帧序列的第q帧目标帧图像，q∈(p,m]；

步骤1中若视频帧序列的第p帧参考帧图像中多个特征角点，表示为：

{(x_p,1，y_p,1)，(x_p,2，y_p,2)，…，(x_p,N，y_p,N)}

n∈[1,N]

其中，N表示视频帧序列的第p帧参考帧图像中特征角点的数量，x_p,n表示视频帧序列的第p帧参考帧图像中第n个特征角点的X轴的坐标，y_p,n表示视频帧序列的第p帧参考帧图像中第n个特征角点的Y轴的坐标；

步骤1所述跟踪匹配的参考帧图像中的特征角点，具体为：

若利用KLT算法成功在视频帧序列的第q帧目标帧图像中跟踪匹配到视频帧序列的第p帧参考帧图像中的第k个特征角点(x_p,k，y_p,k)，则返回布尔值1，以及第k个特征角点在视频帧序列的第q帧目标帧图像中的位置坐标(x′_q,k,y′_q,k)；

若不成功，则只返回布尔值0；

依次对视频帧序列的第p帧参考帧图像中多个特征角点通过利用KLT算法进行跟踪匹配，得到视频帧序列的第p帧参考帧图像中多个特征角点在视频帧序列的第q帧目标帧图像中的对应位置坐标为：

{(x′_q，1，y′_q，1)，(x′_q，2，y′_q，2)，…，(x′_q,R，y′_q,R)}，且R≤N；

步骤1所述目标帧图像与参考帧图像的刚性变换模型，表示为：

其中，(x_p,k，y_p,k)为视频帧序列的第p帧参考帧图像中的第k个特征角点位置坐标，(x′_q,k,y′_q,k)为(x_p,k，y_p,k)在视频帧序列的第q帧目标帧图像中的新位置坐标，Δx表示(x′_q,k,y′_q,k)相对于(x_p,k，y_p,k)在X轴方向上的位移，Δy表示(x′_q,k,y′_q,k)相对于(x_p,k，y_p,k)在Y轴方向上的位移，α表示(x′_q,k,y′_q,k)相对于(x_p,k，y_p,k)沿Z轴旋转角度α；

进一步，第k个特征角点的运动矢量可表示为：

P_q,k＝[Δx,Δy,α]^T,其中P_q,k又称为视频帧序列的第q帧目标帧图像中的第k个特征角点的局部运动矢量；

步骤1所述通过最小二乘法拟合得到最优解为：

R对特征点的位置坐标{(x_p,1，y_p,1)，(x′_q，1，y′_q，1)}…{(x_q,R，y_q,R)，(x′_q,R，y′_q,R)}，结合上述刚性模型就会组成一个超定方程组AM＝B，具体如下：

其最优解为：

M₀＝(A^TA)^-1A^Tb

其中，最优解M₀中的元素Δx₀、Δy₀和α₀一起组成步骤1所述的视频帧序列的第q帧目标帧图像相对视频帧序列的第p帧参考帧图像的全局运动矢量，表示为：

V_q＝[x_t,q,y_t,q,z_t,q]^T；

其中，x_t,q＝Δx₀，x_t,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在X轴方向的位移；

y_t,q＝Δy₀，y_t,q表示视频帧序列的第q帧目标帧图像相对视频帧序列的第p帧参考帧图像的在Y轴方向上的位移；

z_t,q＝α₀，z_t,q表示视频帧序列的第q帧目标帧图像相对视频帧序列的第p帧参考帧图像的沿Z轴方向的旋转角度；

重复V_q的计算过程，依次可以得到第(p+1)帧、第(p+2)帧、…、第q帧相对于视频帧序列的第p帧参考帧图像的全局运动矢量的集合{V_(p+1),V_(p+2),……,V_q}；

步骤2所述将视频帧序列的参考帧图像与视频帧序列的目标帧图像之间的全局运动矢量进行累加处理，具体为：

其中：L_q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像的全局运动矢量和，l_x,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在X轴方向上的矢量和，l_y,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在Y轴方向上的矢量和，l_z,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在Z轴方向上的矢量和，q∈(p,m]；

步骤2所述帧序列间的运动轨迹，表示为：

{l_x，l_y，l_z}

l_x＝{l_x,1，l_x,2，…，l_x,m}

l_y＝{l_y,1，l_y,2，…，l_y,m}

l_z＝{l_z,1，l_z,2，…，l_z,m}

其中，l_x表示m帧序列在X轴上的一条既包含主动运动又包含随机抖动运动的运动轨迹，l_y表示m帧序列在Y轴上的一条既包含主动运动又包含随机抖动运动的运动轨迹，l_z表示m帧序列在Z轴上的一条既包含主动运动又包含随机抖动运动的运动轨迹，l_x,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在X轴方向上的矢量和，l_y,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在Y轴方向上的矢量和，l_z,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在Z轴方向上的矢量和，q∈(p,m]；

步骤2所述的对帧序列间的运动轨迹进行平滑处理，具体过程为：

首先利用Savitzky-golay滤波算法分别对l_x和l_z进行滤波平滑后，得到只包含主动运动的X轴运动轨迹即l′_x、只包含主动运动的Z轴运动轨迹即l′_z；

然后利用Kalman滤波算法对l_y进行滤波平滑处理，得到只包含主动运动的Y轴运动轨迹即l′_y；

步骤2所述只包含主动运动的帧序列间的运动轨迹，表示为：

{l′_x，l′_y，l′_z}

l′_x＝{l′_x,1、l′_x,2…l′_x,m}

l′_y＝{l′_y,1、l′_y,2…l′_y,m}

l′_z＝{l′_z,1、l′_z,2…l′_z,m}

其中，l′_x表示只包含主动运动的X轴运动轨迹，l′_z表示只包含主动运动的Z轴运动轨迹，l′_y只包含主动运动的Y轴运动轨迹，l′_x,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在X轴方向上的矢量和，l′_y,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在Y轴方向上的矢量和，l′_z,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在Z轴方向上的矢量和，q∈(p,m]；

步骤2所述目标帧相对于参考帧只包含主动运动的运动矢量，表示为：

v′_q＝[x′_t,q,y′_t,q,z′_t,q]^T

x′_t,q＝l′_x,q-l′_x,p

y′_t,q＝l′_y,q-l′_y,p

z′_t,q＝l′_z,q-l′_z,p

其中：v′_q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像只包含主动运动的运动矢量，x′_t,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在X轴上只包含主动运动的运动矢量，y′_t,q表示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在Y轴只包含主动运动的运动矢量；z′_t,q示视频帧序列的第q帧目标帧图像相对于视频帧序列的第p帧参考帧图像在Z轴上只包含主动运动的运动矢量；

步骤3所述加速度传感器采集的X轴加速度、Y轴加速度、Z轴加速度为：

a_x(t_n)、a_y(t_n)、a_z(t_n)；

a_x(t_n)为t_n时刻X轴上加速度，a_y(t_n)为t_n时刻Y轴上加速度，a_z(t_n)为t_n时刻Z轴上加速度；

步骤3所述分别计算X轴速度、Y轴速度、Z轴速度为：

其中：v_x(t_n)表示t_n时刻飞行器在X轴上的瞬时速度，t₀为初始时刻，v(t₀)表示初始时刻飞行器在X轴上的瞬时速度；同理有，

步骤3所述进一步选择对应补偿算法为：

分别在X轴、Y轴和Z轴上设定运动阈值β_x、β_y和β_z，当条件满足v_x(t_n)＞β_x，v_y(t_n)＞β_y且v_z(t_n)＞β_z时，并且该条件一定时间t_d内持续满足，认定当前扑翼飞行器的状态为正常飞行运动状态，对应补偿算法选择相邻帧补偿方法；

否则为悬停状态，对应补偿算法为选择固定帧补偿方法；

步骤3视频帧序列{f₁,f₂，…，f_m}经过对应补偿算法得到稳定的帧序列{f′₁，f′₂，…，f′_m}，相邻帧补偿算法中的补偿向量为(x′_t,i，y′_t,i，z′_t,i)，固定帧补偿中的补偿向量为(l′_x,i，l′_y,i，l′_z,i)；

步骤3所述利用双线性插值算法将稳定的视频帧序列{f′₁，f′₂，…，f′_m}放大s倍后，得到放大后的视频帧序列{sf′₁，sf′₂，…，sf′_m}，其中，s的取值为(1～1.2)；

步骤3中利用裁剪的方法依次将放大后的视频帧序列{sf′₁，sf′₂，…，sf′_m}中每帧图像的边缘未定义区裁剪掉，得到去除了未定义区的稳定帧序列{f″₁，f″₂，…，f″_m}，其中有帧序列{f″₁，f″₂，…，f″_m}的尺寸与原视频帧序列{f₁,f₂，…，f_m}一致。