[发明专利]一种基于优化语义分割的图像序列光流计算方法

说明书

一种基于优化语义分割的图像序列光流计算方法，它包含如下步骤：一、输入连续两帧图片，利用去均值归一化光流模型计算连续两帧间的前景后景光流；二、输入连续两帧图片，利用语义模型分割出连续两帧的标签图；三、将步骤一计算出的光流以及步骤二的标签图作为输入，利用全连接分层算法，得到优化分割图像；四、将步骤一中的连续两帧图片和计算出的光流结果以及步骤三中的优化分割结果作为输入量，利用前景光流模型计算最终光流结果；本发明采用全连接去均值归一化模型上加入了边窗滤波计算光流，然后使用全连接分层模型优化的分割图先验信息，最终利用前景光流模型优化最终光流，克服了针对光照突变场景图像序列光流计算结果精度较低的问题。

技术领域

本发明涉及图像序列光流计算技术领域，具体涉及一种基于优化语义分割的图像序列光流计算方法。

背景技术

光流场是分析序列图像中运动目标的重要方法。光流场不仅包含了被观察物体的运动信息，而且携带有光景物三维结构的信息，所以光流场在不同的领域中具有很重要的作用：在计算机视觉中，诸如目标分割、识别、跟踪、机器人导航以及形状信息恢复等及其重要的任务；光流场计算在工业和军事应用领域具有重要的现实意义，诸如在完成各种工业或军事任务的机器人视觉系统，基于运动分析的空间卫星跟踪系统；地对空导弹火控系统，进行资源勘探、天气预报或卫星照片的自动分析系统，医学上器官异常的分析和诊断系统等中均有广泛应用。

近年来，随着光流估计方法的发展，针对简单场景图像序列光流估计技术已经取得较大进步，但是在针对图像序列包含诸如运动边缘保护，光照突变等具有挑战性的困难场景光流估计仍然具有较大误差。

发明内容

本发明的目的在于针对现有技术的缺陷和不足，提供一种基于优化语义分割的图像序列光流计算方法，首先对输入图像序列并利用ZNCC算法减少图像序列中光照突变的影响计算出初始光流，然后同时利用全连接分层模型对图像序列分割图进行优化，将初始图象、优化分割图与初始光流同时作为输入，建立光流估计模型，以解决针对场景图像序列的光照突变以及运动边缘保护的问题。

为实现上述目的，本发明采用的技术方案是：它包含如下步骤：

一、输入连续两帧图片，利用去均值归一化光流模型计算连续两帧间的前景后景光流，模型如式(1)所示：

E(u,v)＝λ·E_data(u,v)+E_smooth(u,v) (1)

式(1)中数据项E_data能量泛函如式(2)：

式中u是光流的水平方向分量；v是光流的垂直方向分量；u_i表示像素i的光流的水平方向分量；v_i表示像素i的光流的垂直方向分量；Ω＝{(x,y)|1≤x≤N,1≤y≤M}代表图像中的所有像素点集合；k代表图像金字塔的层数；w_i＝(u_i,v_i)^T表示像素i的光流值；C(·)代表匹配块之间的去均值归一化；

平滑项E_smooth(u,v)为：

式中：

代表像素i的邻域像素；Ω代表图像中的所有像素点集合；bf_i,s代表平滑项权重，表示像素i和s属于同一物体的可能性；i和s属于同一个对象时bf_i,s接近于1，如果该度量值bf_i,s接近零，忽略该像素；bf_i,s的计算公式如下：