[发明专利]基于深度学习的端到端全局和局部运动估计方法

权利要求书

1.一种基于深度学习的端到端全局和局部运动估计方法，其特征在于：

设计了一个用于估计全局和局部运动的端到端深度学习网络，对输入的两个相邻视频帧估计出全局和局部运动；

针对全局运动自身处于低秩空间的特点，设计了一种基于特征降维和升维思想的全局运动估计器，将混合运动中的全局信息进行提取，并排除非全局信息的干扰；

针对混合运动中包含全局和局部运动这一特点，设计了一种基于条件重构思想的训练策略，采用三个损失函数对网络的输出进行约束，使网络无监督地学习两个相邻视频帧中的混合、全局和局部运动信息。

2.根据权利要求1所述的方法，其特征在于步骤(1)中，通过将两个相邻视频帧输入三个深度学习网络结构，即MM模块、GM模块和LM模块，获得全局和局部运动；对于MM模块，通过将视频帧I₁和I₂输入PWC-Net网络的金字塔特征提取器从而获得多尺度特征对，特征金字塔提取器由6层卷积组成，输入输出通道数分别是3-16，16-32，32-64，64-96，96-128，128-196，步长为2，卷积核大小为3×3，从而对输入图片进行6次降采样；除最后一层卷积，每层卷积后都有LeakyReLU激活层；然后计算它们的代价体，从而衡量不同特征之间的相关性，并输入给光流解码器，从而获得混合光流；光流解码器的输入是当前层的代价体、对上一层输出的光流经过二倍上采样后得到的光流、以第一帧I₁输入特征金字塔提取器输出的特征，其中第一帧I₁图像的特征经过1×1卷积将通道数从192变为32，1×1卷积的卷积核大小为1×1，步长为1；光流解码器的卷积层输入输出通道数分别是113-128，128-128，256-96其中256为第1层输出的特征连接第2层输出的特征，得到的新特征的通道数；224-64其中224为第2层输出的特征连接第3层输出的特征，得到的新特征的通道数；160-32其中160为第3层输出的特征连接第4层输出的特征，得到的新特征的通道数；96-2，其中96为第4层输出的特征连接第5层输出的特征，得到的新特征的通道数；步长为2，卷积核为3×3；除最后一层，每层卷积后都有LeakyReLU激活层；MM模块的输出是当前层的光流，进而将其输入给GM模块和LM模块从而获得全局和局部运动。