[发明专利]一种基于多级损失量的端到端光流估计方法

说明书

本发明公开了一种基于多级损失量的端到端光流估计方法，将两张相邻图像送入相同的特征提取卷积神经网络进行特征提取，获得两帧图像的多尺度的特征图；在每一个尺度下，对两幅图像特征图进行相关性分析操作，从而获得多尺度的损失量信息；将同一尺度下获取的损失量信息、第一帧图像在该尺度下的特征图、上一级预测得到光流信息合并在一起，送入光流预测卷积神经网络中，获取该尺度下的残差流，并与上一级光流信息的上采样结果相加得到该尺度的光流信息；将第二级尺度的光流信息与输入的两帧图像进行特征融合操作，将融合后的信息送入到运动边缘优化网络得到最终的光流预测结果。使用本发明能够提升光流估计算法精度与效率。

技术领域

本发明涉及计算机视觉中的光流估计领域，特别涉及端到端光流估计，具体为一种基于多级损失量的端到端光流估计方法。

背景技术

光流表征着图像亮度模式的表观运动，这种运动通常由观测者和场景的相对运动引起。光流估计是计算机视觉领域中经典的研究课题之一，作为一种低级别的视觉任务，光流在高级别视觉任务，如视频动作识别、视频目标检测及跟踪等，有着广泛的使用；此外，一个高性能的光流估计算法对于基于光流的应用，如视频编辑、机器人导航等有着重要意义。

光流场是运动场在二维空间上的投影，是运动的低级别表示。光流算法的目的是解算出给定的若干帧图像间(通常是两帧)各个像素移动的距离。光流估计需要精确的逐像素定位，同时需要找到两张图输入图像的对应关系。这就涉及到图像特征表达的学习，以及学习在两个图像上的不同位置匹配这些特征表达。主流光流估计算法作如下分类：一是传统的非深度学习算法；二是基于深度学习的光流估计算法。非深度学习方法大部分做法是首先将光流计算问题构建为一个优化问题，即求解最小化能量函数，通常使用变分法进行求解。基于非深度学习的光流估计算法需要人工精心设计有效的能量函数，要得到稠密光流需要大量运行时间，此外，这类方法多研究限制条件下小位移光流的预测，限制了该类算法的应用场景。基于深度学习的光流估计算法利用深度CNN提取输入图像的从低级到高级的特征，然后基于深度特征使用传统算法进行光流求解。目前，领先的光流算法通常使用基于双目视觉的研究方法，这样的方法尽管取得了较高的精度，但是其运算速度往往长达数分钟，严重限制了其在实时性应用上的使用。近年来，由于深度学习在计算机视觉领域的领先地位，卷积神经网络(CNN)也开始被引入到光流估计算法之中。在这些方法中，绝大部分是首先使用CNN提取图像高级语义信息，然后使用传统的基于区域匹配的方法进行光流估计，然而这些方法往往又需要复杂的后处理，占据了大量的运行时间，不满足视频检测、追踪等任务的速度需求。因此设计一种高效率、高精度的基于CNN的端到端光流估计网络显得至关重要。

发明内容

有鉴于此，本发明提供了一种基于多级损失量的端到端光流估计方法，能够提升光流估计算法精度与效率。

为了解决上述技术问题，本发明是这样实现的：

一种基于多级损失量的端到端光流估计方法，包括：

步骤一：将两张相邻图像I₁和I₂，送入相同的特征提取卷积神经网络进行特征提取，获得两帧图像的多尺度的特征图f_i¹和f_i²；

步骤二：在每一个尺度i下，对图像I₁和I₂的特征图进行相关性分析操作，获得该尺度i下的损失量信息cv_i，从而获得多尺度的损失量信息；

步骤三：针对每一个尺度i，将尺度i下获取的损失量信息cv_i、第一帧图像I₁在该尺度下的特征图f_i¹、上一级预测得到光流信息V_i+1合并在一起，送入光流预测卷积神经网络G_i中，获取该尺度下的残差流v_i，将残差流v_i与上一级光流信息的上采样结果相加得到该尺度的光流信息V_i；