[发明专利]光流估计方法、相关装置、设备及计算机可读存储介质

说明书

本申请提供了一种光流估计方法、相关装置、设备及计算机可读存储介质，涉及人工智能领域，具体涉及计算机视觉领域，该方法包括：获取第一帧图像和第二帧图像；通过2层网络对第一帧图像进行2次不同尺度的特征提取，得到2个第一光流特征图；通过2层网络对第二帧图像进行2次不同尺度的特征提取，得到2个第二光流特征图；通过第1层网络将第2层网络对应的第一融合特征图以及第1层网络提取到的第1个第一光流特征图和第1个第二光流特征图进行特征融合，得到第1层网络对应的光流结果；输出第1层网络对应的光流结果。实施本申请，可以在提高深度学习模型的运算效率的同时，尽可能地保持深度学习模型的光流估计结果接近实时检测。

技术领域

本申请涉及计算机视觉领域，尤其涉及一种光流估计方法、相关装置、设备及计算机可读存储介质。

背景技术

光流是图像亮度模式的表观运动。当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜(即图像平面)，好像一种光的“流”，故称之为光流。从本质上说，光流就是你在这个运动着的世界里感觉到的明显的视觉运动。光流表达了图像的变化，由于它包含了目标运动的信息，因此可被观察者用来确定目标的运动情况。由光流的定义可以引申出光流场，它是指图像中所有像素点构成的一种二维瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。

对光流的研究己经成为计算机视觉及有关研究领域中的一个重要部分。二十多年来，多种光流估计的方法被提出，光流估计的准确性也不断得到提高。但是基于梯度的传统光流计算方法有多个前提假设，比如相邻帧之间的亮度恒定，相邻视频帧的取帧时间连续，相邻帧之间物体的运动比较“微小”，保持空间一致性等。这些假设可能影响在真实情况下的光流计算，导致在实际应用中准确度干降。同时，由于传统光流法采用迭代的方法，计算复杂耗时。基于匹配的传统光流估计算法通过不断地对目标主要特征区域进行定位、跟踪和匹配来计算稀疏光流。虽然这类算法可以对大位移运动和亮度变化的鲁棒性，但难以估计亚像素精度的光流且计算耗时。这两类传统方法如果没有特殊的硬件支持，很难应用于视频序列的实时检测。

如今，随着深度学习的发展，越来越多的研究领域开始借助深度学习的方法获得更多研究成果，比如图像分类、目标识别等等。深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务。深度学习能够通过对大量数据的学习获得提取特征的能力，从而替代手工获取特征。使用深度学习技术进行光流估计能够获得比传统光流法更高的准确度，并且大大提高光流估计的速度，达到接近实时检测的效果。然而，现有的深度学习模型的规模较大，一方面，需要大量的计算机资源来进行计算，深度学习模型的运算效率低；另一方面，光流估计结果无法达到实时检测的效果。因此，如何在提高深度学习模型的运算效率的同时，尽可能地保持深度学习模型的光流估计结果接近实时检测急需解决的技术问题。

发明内容

本申请提供了一种光流估计方法、相关装置、设备及计算机可读存储介质，可以在提高深度学习模型的运算效率的同时，尽可能地保持深度学习模型的光流估计结果接近实时检测。