[发明专利]一种基于卷积神经网络的稠密光流估计方法

摘要

本发明属于计算机视觉领域，提供了一种基于卷积神经网络的稠密光流估计方法，以解决现有技术计算时间长，计算量大，计算效率不高的问题，包含如下步骤：(1)提取运动图像信息：构建全卷积网络架构，然后在输入层输入两幅通道数都为C的图像，从卷积层8输出光流_6；(2)生成光流：构建稠密光流生成模型。光流_6输入反卷积层1，反卷积层2输出光流_5，反卷积层3输出光流_4，反卷积层4输出光流_3，反卷积层5输出光流_2，反卷积层6输出光流_1；(3)模型训练：用最终损失函数进行训练；(4)光流估计：从全卷积网络架构的输入层输入图像对，输出最终预测的光流。本发明能够有效地利用先验知识，模型可以预先训练，大大减少了计算时间。

主权项

一种基于卷积神经网络的稠密光流估计方法，其特征在于：包含如下步骤：(1)提取运动图像信息：构建全卷积网络架构：包括输入层，卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9；输入层，卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9顺次连接；卷积层1的卷积核长宽以及卷积核个数分别为7,7,64；卷积层2的卷积核长宽以及卷积核个数分别为3,3,128；卷积层3的卷积核长宽以及卷积核个数分别为3,3,256；卷积层4的卷积核长宽以及卷积核个数分别为3,3,256；卷积层5的卷积核长宽以及卷积核个数分别为3,3,512；卷积层6的卷积核长宽以及卷积核个数分别为3,3,512；卷积层7的卷积核长宽以及卷积核个数分别为3,3,512；卷积层8的卷积核长宽以及卷积核个数分别为3,3,512；卷积层9的卷积核长宽以及卷积核个数分别为3,3,1024；卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9的步长分别设置为2，2，2，1，1，2，1，1，2；卷积层1，卷积层2，卷积层3，卷积层4，卷积层5，卷积层6，卷积层7，卷积层8，卷积层9的激活函数都是RELU函数；然后在输入层输入两幅通道数都为C的图像，从卷积层8输出光流_6，光流_6为预测光流；(2)生成光流：构建稠密光流生成模型：定义密集体1，密集体2，密集体3，密集体4，密集体5，每个密集体包含L个团块，每个团块包括batch normalization,卷积核大小为3*3的卷积层，dropout层3个部分；batch normalization的激活函数为RELU函数；如图4，团块内部的连接方式：batch normalization，卷积核大小为3*3的卷积层，dropout层顺次连接；在密集体内部，团块L‑1，团块L‑2，团块L‑3，到团块1共L‑1个团块的输出与团块L相连接；定义反卷积层1，反卷积层2，反卷积层3，反卷积层4，反卷积层5，反卷积层6；反卷积层1的卷积核长宽以及卷积核个数分别为3,3,512；反卷积层2的卷积核长宽以及卷积核个数分别为3,3,256；反卷积层3的卷积核长宽以及卷积核个数分别为3,3,128；反卷积层4的卷积核长宽以及卷积核个数分别为3,3,64；反卷积层5的卷积核长宽以及卷积核个数分别为3,3,32；反卷积层6的卷积核长宽以及卷积核个数分别为3,3,16；卷积层9，反卷积层1，密集体1，反卷积层2，密集体2，反卷积层3，密集体3，反卷积层4，密集体4，反卷积层5，密集体5，反卷积层6顺次连接；光流_6输入反卷积层1，卷积层9将处理后的信息输入反卷积层1，反卷积层2输出光流_5，反卷积层3输出光流_4，反卷积层4输出光流_3，反卷积层5输出光流_2，反卷积层6输出光流_1；光流_2,光流_3,光流_4,光流_5,光流_6为不同分辨率下的预测光流值；光流_1为最终预测的光流值，与两幅通道数都为C的图像同分辨率；(3)模型训练：分别用最终损失函数作用于反卷积层1，反卷积层2，反卷积层3，反卷积层4，反卷积层5，反卷积层6进行训练；(4)光流估计：从全卷积网络架构的输入层输入图像对，输出最终预测的光流。