[发明专利]一种基于优化语义分割的图像序列光流计算方法

权利要求书

1.一种基于优化语义分割的图像序列光流计算方法，其特征在于它包含如下步骤：

一、输入连续两帧图片，利用去均值归一化光流模型计算连续两帧间的前景后景光流，模型如式(1)所示：

E(u,v)＝λ·E_data(u,v)+E_smooth(u,v) (1)

式(1)中数据项E_data能量泛函如式(2)：

式中u是光流的水平方向分量；v是光流的垂直方向分量；u_i表示像素i的光流的水平方向分量；v_i表示像素i的光流的垂直方向分量；Ω＝{(x,y)|1≤x≤N,1≤y≤M}代表图像中的所有像素点集合；k代表图像金字塔的层数；w_i＝(u_i,v_i)^T表示像素i的光流值；C(·)代表匹配块之间的去均值归一化；

平滑项E_smooth(u,v)为：

式中：

代表像素i的邻域像素；Ω代表图像中的所有像素点集合；bf_i,s代表平滑项权重，表示像素i和s属于同一物体的可能性；i和s属于同一个对象时bf_i,s接近于1，如果该度量值bf_i,s接近零，忽略该像素；bf_i,s的计算公式如下:

式中Δ_c(i,s)为的i和s之间的Lab颜色空间距离；Δ_d(i,s)计算的i和s之间的位置距离；σ_c和σ_d代表相似性测度系数；

二、输入连续两帧图片，利用Deeplabv3+语义模型分割出连续两帧的标签图；

三、将步骤一计算出的光流以及步骤二的标签图作为输入，利用全连接分层算法，得到优化分割图像，式(5)为全连接局部分层模型：

其中，式中u是光流的水平方向分量；v是光流的垂直方向分量；g代表物体所属的标签类别；θ表示输出运动模型的参数；I表示输入图像的灰度；k表示像素所在的图层，k∈{1,2}；t表示当前帧时间序号，t+1表示下一帧时间序号；λ_time表示时间项系数；λ_space表示空间项系数；g_t代表当前帧像素的语义标签；g_t+1代表当下一帧像素的语义标签；u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；

数据项E_data公式如下：

其中u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；g_t代表物体当前帧时间所属的标签类别；g_t+1代表物体下一帧时间所属的标签类别；表示当前帧像素p的语义标签，表示下一帧像素q的语义标签，k表示像素所在的图层，k∈{1,2}；t表示当前帧时间序号，t+1表示下一帧时间序号；代表当和的两层的负对数似然；

空间项E_space公式如下：

其中，表示空间项的权重系数；表示当前帧像素p的语义标签；表示当前帧像素r的语义标签，当时，不是相邻空间的像素，施加空间惩罚项；当时，像素处于相邻空间；

时间项E_time公式如下：

其中，表示当前帧像素p的语义标签；表示下一帧像素q的语义标签，当时，施加时间惩罚项；当时，两对应像素具有相同标签；

四、将步骤一中的连续两帧图片和计算出的光流结果以及步骤三中的优化分割结果作为输入量，利用前景光流模型计算最终光流结果：

其中，u是光流的水平方向分量；v是光流的垂直方向分量；u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；I表示输入图像的灰度；k表示像素所在的图层，k∈{1,2}；t表示当前帧时间序号，t+1表示下一帧时间序号；λ_motion表示运动项系数；λ_time表示时间项系数；λ_space表示空间项系数；k_t代表当前帧像素的标签层；k_t+1代表当下一帧像素的标签层；I_t代表当前帧图像的灰度，I_t+1代表下一帧图像的灰度；

E_data数据项表示为：

其中，u_t代表当前帧的光流的水平方向分量；v_t代表当前帧的光流的垂直方向分量；p表示当前帧的像素点；q表示像素p在下一帧的匹配像素；ρ_D表示鲁棒惩罚函数；表示当前帧像素p的灰度值；表示下一帧像素q的灰度值；λ_D表示对遮挡像素的恒定惩罚；表示指示函数；表示当前帧像素p的所在层，表示下一帧像素q的所在层，并当时，表示像素p与像素q处于不同的层，发生遮挡，此时E_data同时施加外观一致性和遮挡惩罚；当时，表示像素p与经过运动后的匹配像素q处于相同的前景或背景层，未发生遮挡，此时E_data仅施加外观一致性；

运动项E_motion公式如下：

其中，r表示像素p的相邻像素；第一项中N_p包含像素p的四个最近邻域，ρ表示运动项惩罚函数，表示当前帧像素p的运动向量，表示当前帧像素r的运动向量，表示当前帧像素p的所处层，表示当前帧像素r的所处层，当时，表明像素p与相邻像素r处于同一前景层，则像素p与相邻像素r具有相似的运动，施加相似运动一致项；第二项中λ_aff表示仿射运动的平滑系数，ρ_aff表示添加形变后的仿射运动惩罚函数；表示全局运动模型；

空间项E_space鼓励分层的空间邻接性，对非相邻空间的像素施加惩罚，表示为：

其中，为空间项权重，表示当前帧像素p的所处层，表示前帧像素r的所处层，当时，当时，像素p与像素r处于相邻空间；

E_time时间项代表着相同像素在时间的推移下前后景不会发生改变，保证了分层模型的时间一致性：

其中，表示当前帧像素p的所处层，表示下一帧像素q的所处层，当时，当时，

最小化能量泛函，最终输出计算光流。