[发明专利]一种基于PWC原则的深度学习光流估计方法

说明书

一种基于PWC原则的深度学习光流估计方法涉及计算机处理技术领域。本发明利用全序列图像前后切片之间的变化特性，先生成光流图；给定两个输入图像，特征金字塔提取模块使用共享参数的卷积神经网络分别提取他们的特征表示金字塔。随后将生成的特征表示进行变形操作，接着直接计算两个特征所有像素之间的相关性。然后将特征的相关性结果、第一张图像的特征和上采样得到的粗糙光流拼接在一起作为输入，输出为当前层的光流。再将光流估计结果和光流估计网络中倒数第二层的特征输入修正网络后，上采样值原始尺寸即可得到最终光流。本发明获取高精度的估计效果，实现模型尺寸与计算精度之间的平衡。

技术领域

本发明涉及计算机处理技术领域，尤其涉及一种基于PWC原则的深度学习光流估计方法。

背景技术

光流是在一系列连续变化的图像中产生类似光流动的效果，故简称为光流。光流是一个有方向、有长度的矢量，光流估计的目的就是根据两个连续的帧来求解对应像素的运动速度(或偏移量)来获取被观察物体的运动信息。

目前，光流估计技术已经应用于自动驾驶、无人机定位导航、影视特效以及目标跟踪等领域，几乎与人们生产生活息息相关。考虑到脑CT图像是由多个连续的层面图像组成，而对脑疾病的诊断又需要结合多个切片间的动态变化来判别。因而引入光流估计法可以更好的帮助捕捉这种动态变化以更好地辅助后续特征提取任务。

使用传统方法对医疗图像序列进行光流估计时，如果前后图像间运动过大或过小，在图像序列同一点上拟合曲线经常会无法实现匹配的情况，从而导致生成的光流图捕捉不到足够的变化特征。为了解决该问题，本研究引入了深度学习光流估计方法，同时遵循传统方法中的金字塔处理(pyramid)、变形操作(warping)和代价计算(cost volume)原则。本研究提出的PWCf-Net模型首先通过CNN卷积得到多层的特征，然后从低分辨率开始估计光流，并将低分辨率的光流上采样到高分辨率，同时计算相关性、预测当前分辨率的光流，最后逐步得到最终分辨率的光流结果。从而获取高精度的估计效果，实现模型尺寸与计算精度之间的平衡。

发明内容

本发明提出一种基于PWC原则的深度学习光流估计模型，用以解决现有研究中存在的不足。

为实现上述目的，本发明采用一种如下的技术方案：

一种基于PWC原则的深度学习光流估计模型。利用全序列图像前后切片之间的变化特性，先生成光流图；给定两个输入图像ori₁和ori₂，特征金字塔提取模块使用共享参数的卷积神经网络分别提取他们的特征表示金字塔。随后将生成的特征表示进行变形操作，接着直接计算两个特征所有像素之间的相关性。然后将特征的相关性结果、第一张图像ori₁的特征和上采样得到的粗糙光流拼接在一起作为输入，输出为当前层的光流。再将光流估计结果和光流估计网络中倒数第二层的特征输入修正网络后，上采样值原始尺寸即可得到最终光流。上述定义及训练方法包括：

S1：定义特征金字塔提取网络，基于全序列图像的光流估计网络，以及基于扩张卷积的光流修正网络。

S11：定义的特征金字塔提取网络由6个卷积块共18个卷积层及对应的6个最大池化层组成。

S12：定义基于序列级别图像的光流估计网络；

S13：光流修正网络由7个卷积层组成。每个卷积层的空间核是3×3，且有不同的扩张常数。

S2：训练特征金字塔提取网络。

S3：将S2中提取的特征表示进行变形操作。

S4:计算两个特征所有像素之间的相关性。

S5:训练基于全序列图像的光流估计网络。

S6：训练基于扩张卷积的光流修正网络。

附图说明