[发明专利]一种基于非监督学习的运动估计方法

权利要求书

1.一种基于非监督学习的运动估计方法，其特征在于，所述方法包括如下步骤：

步骤1：从UCF101视频数据库中选取数据，并对图像进行标准化；

步骤1-1：随机从UCF101视频数据库中选取相邻两帧的图像共50000对，作为训练数据集的第一部分；

步骤1-2：随机从UCF101视频数据库中选50000对图像，每对图像中间隔一帧，作为训练数据集的第二部分；

步骤1-3：随机从UCF101视频数据库中选50000对图像，每对图像中间隔两帧，作为训练数据集的第三部分；

步骤1-4：计算以上150000对图像的RGB平均值，和RGB方差，并把所有图像归一化；

步骤2：搭建一种卷积 神经网络，包括如下步骤：

步骤2-1：引入VGG深度神经网络的前两层，包括此神经网络的结构和已经训练好的参数，搭建一种包含有两个输入层的非一般性神经网络，作为总神经网络的第一部分，此部分会将输入的两个图片分别处理；

步骤2-2：搭建运动区域识别神经网络，作为总体神经网络的第二部分；

步骤2-3：将神经网络中的链接层插入到神经网络第一部分和第二部分之间，并将神经网络第一部分输出的两部分特征图链接在一起；

步骤2-4：在链接层和神经网络第二部分之间加入一个卷积层，对合并后的特征图进行卷积处理；

步骤3：以非监督学习的方法训练卷积神经网络；

步骤4：基于完成训练的深度卷积神经网络，以从粗糙到细化的方法逐步完成运动区域的计算；

步骤4-1：将运动区域F初始化为0矩阵；设置循环次数n，默认值为4；将需要计算运动区域的两张图片进行缩小，缩小为原来的2/3，缩小的过程中保持长宽比例不变；

步骤4-2：将变形后的两张图片作为神经网络的输入，计算运动区域f，将f与F进行叠加，更新F；按照运动区域将第一张图片中的像素点进行移动，产生一张新的图片，该步骤重复t_扭曲次，t_扭曲为需要扭曲的次数,默认值为4；

步骤4-3：将新产生的第一张图片和之前的第二张图片进行放大，放大比例为将放大后的两张图片作为神经网络新的输入；将F也同比例放大；

步骤4-4：重复步骤4-2～步骤4-3n次，此时图片的大小恢复到图片的原始大小；

步骤4-5：输出最终结果F。

2.根据权利要求1所述的一种基于非监督学习的运动估计方法，其特征在于，所述步骤3包括如下步骤：

步骤3-1：如果训练数据的尺寸比较大，需要对训练图片进行缩小，先用训练数据集的第一部分作为新的训练数据集对神经网络进行训练，完成对神经网络的初步训练，在训练过程中保持VGG网络中的参数不变；

步骤3-2：向新训练数据集中逐步加入原训练数据集的第二部分和第三部分对神经网络进行训练，每加入一次新的数据后，都要基于前一次完成训练的网络再次进行训练，在训练过程中保持VGG网络中的参数不变；

步骤3-3：完成所有数据引入之后，不再固定VGG部分，用较小的学习率基于之前的参数对整个神经网络进行重新微调。