[发明专利]图像分析方法及相关模型的训练方法、装置、设备和介质

说明书

本申请公开了一种图像分析方法及相关模型的训练方法、装置、设备和介质，其中，图像分析方法包括：获取图像序列、光流数据和图像序列中各个图像的参考数据；其中，各个图像包括具有共视关系的第一图像和第二图像，光流数据包括第一图像与第二图像之间的静态光流和整体光流，静态光流由摄像器件运动引起，整体光流由摄像器件运动和拍摄对象运动共同引起，且参考数据包括位姿和深度；基于图像序列和光流数据，预测得到分析结果；其中，分析结果包括静态光流的光流校准数据；基于静态光流和光流校准数据，对位姿和深度进行优化，得到更新的位姿和更新的深度。上述方案，能够在动态场景下，提升位姿和深度的精度。

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种图像分析方法及相关模型的训练方法、装置、设备和介质。

背景技术

同时定位和建图(Simultaneous Localization and Mapping，SLAM)是计算机视觉和机器人领域中最基本的任务之一，其应用范围包括但不限于：AR(Augmented Reality，增强现实)、VR(Virtual Reality，虚拟现实)、自动驾驶等。

在此其中，单目稠密SLAM由于单目视频采集的简单性而备受关注，但与RGB-D稠密SLAM相比，则是一项困难的任务。经研究发现，构建稳健、可靠的SLAM系统仍然具有挑战性，尤其是在动态场景中，目前SLAM系统仍然存在较大问题，而无法获取到精确的位姿和深度。有鉴于此，如何提升位姿和深度的精度成为亟待解决的问题。

发明内容

本申请提供一种图像分析方法及相关模型的训练方法、装置、设备和介质。

本申请第一方面提供了一种图像分析方法，包括：获取图像序列、光流数据和图像序列中各个图像的参考数据；其中，各个图像包括具有共视关系的第一图像和第二图像，光流数据包括第一图像与第二图像之间的静态光流和整体光流，静态光流由摄像器件运动引起，整体光流由摄像器件运动和拍摄对象运动共同引起，且参考数据包括位姿和深度；基于图像序列和光流数据，预测得到分析结果；其中，分析结果包括静态光流的光流校准数据；基于静态光流和光流校准数据，对位姿和深度进行优化，得到更新的位姿和更新的深度。

因此，获取图像序列、光流数据和图像序列中各个图像的参考数据，且各个图像包括具有共视关系的第一图像和第二图像，光流数据包括第一图像与第二图像之间的静态光流和整体光流，静态光流由摄像器件运动引起，整体光流由摄像器件运动和拍摄对象运动共同引起，参考数据包括位姿和深度，在此基础上，再基于图像序列和光流数据，预测得到分析结果，且分析结果包括静态光流的光流校准数据，并基于静态光流和光流校准数据，对位姿和深度进行优化，得到更新的位姿和更新的深度。故通过模仿人类感知现实世界的方式，将整体光流视为由摄像器件运动和拍摄对象运动共同引起，并在图像分析过程中，参考整体光流和由摄像器件运动引起的静态光流，预测出静态光流的光流校准数据，从而能够在后续位姿和深度优化过程中，结合静态光流及其光流校准数据尽可能地降低拍摄对象运动所导致的影响，进而能够提升位姿和深度的精度。

其中，基于图像序列和光流数据，预测得到分析结果，包括：基于第一图像和第二图像的图像特征，得到第一图像与第二图像之间的特征相关数据，并基于静态光流将第一图像中像素点进行投影，得到第一图像中像素点在第二图像中的第一投影位置；基于第一投影位置在特征相关数据中搜索，得到目标相关数据；基于目标相关数据、静态光流和整体光流，得到分析结果。

因此，基于第一图像和第二图像的图像特征，得到第一图像与第二图像之间的特征相关数据，并基于静态光流将第一图像中像素点进行投影，得到第一图像中像素点在第二图像中的第一投影位置，在此基础上，基于第一投影位置在特征相关数据中搜索，得到目标相关数据，从而基于目标相关数据、静态光流和整体光流，得到分析结果，即在第一图像和第二图像两者的特征相关数据中搜索目标相关数据的过程中，参考由摄像器件运动而引起的静态光流，能够进一步降低拍摄对象运动所产生的影响，进而能够提升后续优化位姿和深度的精度。