[发明专利]一种基于多级损失量的端到端光流估计方法

摘要

本发明公开了一种基于多级损失量的端到端光流估计方法，将两张相邻图像送入相同的特征提取卷积神经网络进行特征提取，获得两帧图像的多尺度的特征图；在每一个尺度下，对两幅图像特征图进行相关性分析操作，从而获得多尺度的损失量信息；将同一尺度下获取的损失量信息、第一帧图像在该尺度下的特征图、上一级预测得到光流信息合并在一起，送入光流预测卷积神经网络中，获取该尺度下的残差流，并与上一级光流信息的上采样结果相加得到该尺度的光流信息；将第二级尺度的光流信息与输入的两帧图像进行特征融合操作，将融合后的信息送入到运动边缘优化网络得到最终的光流预测结果。使用本发明能够提升光流估计算法精度与效率。

主权项

1.一种基于多级损失量的端到端光流估计方法，其特征在于，包括：步骤一：将两张相邻图像I₁和I₂，送入相同的特征提取卷积神经网络进行特征提取，获得两帧图像的多尺度的特征图f_i¹和f_i²；步骤二：在每一个尺度i下，对图像I₁和I₂的特征图进行相关性分析操作，获得该尺度i下的损失量信息cv_i，从而获得多尺度的损失量信息；步骤三：针对每一个尺度i，将尺度i下获取的损失量信息cv_i、第一帧图像I₁在该尺度下的特征图f_i¹、上一级预测得到光流信息V_i+1合并在一起，送入光流预测卷积神经网络G_i中，获取该尺度下的残差流v_i，将残差流v_i与上一级光流信息的上采样结果相加得到该尺度的光流信息V_i；步骤四：将第二级尺度的光流信息V₂与输入的两帧图像I₁和I₂进行特征融合操作，将融合后的信息送入到运动边缘优化网络得到最终的光流预测结果。