[发明专利]一种基于残差场和位移场的图像光流优化方法及系统

说明书

本发明涉及一种基于残差场和位移场的图像光流优化方法及系统。该方法包括：获取参考图像；采用光流估计方法对所述参考图像进行估计，得到初始光流场；获取光流优化模型；所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器；将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场；将所述初始光流场与所述残差场叠加，得到初步优化的光流场；利用所述位移场对所述初步优化的光流场进行重采样，得到优化后的光流场。本发明可以提高图像序列光流估计在运动边界区域的精度和鲁棒性。

技术领域

本发明涉及图像序列光流计算领域，特别是涉及一种基于残差场和位移场的图像光流优化方法及系统。

背景技术

光流是运动物体或场景表面像素点在投影平面的二维瞬时速度，其不仅能够提供图像中运动目标和景物的运动参数信息，还能够提供丰富的三维结构信息，是图像处理、计算机视觉等领域的热点问题。近年来，随着深度学习理论与技术的快速发展，卷积神经网络模型被广泛应用于光流估计技术研究，由于该类方法具有计算速度快、稳定性高等显著优点，因此逐渐成为遮挡检测研究领域的热点，研究成果被广泛应用于动作识别、人体姿态识别、光流估计、人脸识别、目标跟踪和三维重建等更高级视觉任务。

目前，基于卷积神经网络的光流估计技术是图像序列光流计算技术中最常采用的一类光流估计技术，该类方法通常会在物体运动边界区域导致过度平滑现象，并且对于包含非刚性运动和大位移的图像序列边缘模糊现象更为严重，限制了此类方法在各个领域的应用。

发明内容

本发明的目的是提供一种基于残差场和位移场的图像光流优化方法及系统，以提高图像序列光流估计在运动边界区域的精度和鲁棒性。

为实现上述目的，本发明提供了如下方案：

一种基于残差场和位移场的图像光流优化方法，包括：

获取参考图像；

采用光流估计方法对所述参考图像进行估计，得到初始光流场；

获取光流优化模型；所述光流优化模型包括图像编码器、光流编码器、第一解码器和子解码器；

将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场；

将所述初始光流场与所述残差场叠加，得到初步优化的光流场；

利用所述位移场对所述初步优化的光流场进行重采样，得到优化后的光流场。

可选的，所述图像编码器包括多层卷积层；所述光流编码器包括多层卷积层；所述第一解码器包括多个卷积层；所述子解码器包括第一子解码器和第二子解码器。

可选的，所述将所述参考图像和所述初始光流场输入所述光流优化模型，输出残差场和位移场，具体包括：

利用所述图像编码器对所述参考图像进行特征金字塔下采样分层，得到多个分辨率不同的图像特征图；

利用所述光流编码器对所述初始光流场进行特征金字塔下采样分层，得到多个分辨率不同的光流场特征图；

根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图；

根据所述解码器特征图，利用所述第一子解码器计算残差场；

根据所述解码器特征图，利用所述第二子解码器计算位移场。

可选的，所述根据所述多个分辨率不同的图像特征图和所述多个分辨率不同的光流场特征图，利用所述第一解码器生成解码器特征图，具体包括：