[发明专利]一种深度真值获取方法、装置、系统及深度相机

说明书

本申请适用于计算机视觉和相机标定技术领域，提供了一种深度真值获取方法、装置、系统及深度相机，该深度真值获取方法包括：获取双目相机和目标相机各自的内参，双目相机外参，以及所述双目相机中任一相机与目标相机的外参；当开启目标相机时，获取目标场景的目标图像；当开启双目相机和投影模块，且旋转和/或平移投影模块时，获取多对目标场景的左目图像和右目图像；计算目标场景的多对左目图像和右目图像的视差，并计算融合视差图；根据融合视差图计算目标场景的深度信息，并利用目标相机的内参和外参获取目标相机的深度真值。本申请实施例可以便捷地生成与目标设备中成像器件逐像素对齐的高精度深度图。

技术领域

本发明属于计算机视觉和相机标定技术领域，尤其涉及一种深度真值获取方法、装置、系统及深度相机。

背景技术

为了获得更为优质的三维信息和解决传统三维测量方法中难以克服的一些问题，越来越多的三维测量方法开始使用深度学习算法计算深度。如利用深度学习从单幅RGB图像或灰度图像中重构场景三维信息，解决间接飞行时间(indirect time-of-flight，iToF)测量中多路径和散射等效应导致的深度错误问题等。然而深度学习需要大量的数据和深度的真值(ground truth)作为训练样本，训练样本数量和深度真值的精度直接决定了深度学习算法的最终表现。

发明内容

有鉴于此，本发明实施例提供了一种深度真值获取方法、装置、系统及深度相机，能够解决相关技术中的一个或多个技术问题。

第一方面，本申请一实施例提供了一种深度真值获取方法，包括：

获取双目相机和目标相机各自的内参，双目相机外参，以及所述双目相机中任一相机与目标相机的外参；

当开启目标相机时，获取目标场景的目标图像；当开启双目相机和投影模块，且旋转和/或平移投影模块时，获取多对目标场景的左目图像和右目图像；

计算目标场景的多对左目图像和右目图像的视差，并计算融合视差图；

根据融合视差图计算目标场景的深度信息，并利用目标相机的内参和外参获取目标相机的深度真值。

本实施例便捷地生成与目标设备中成像器件逐像素对齐的高精度深度图。在实际应用中，可以便捷、准确地为深度学习算法提供深度真值训练样本。

作为第一方面的一种实现方式，所述深度真值获取方法还包括：

将所述目标图像和所述深度真值作为一组训练样本，获取不同目标场景下的多组训练样本，利用所述多组训练样本训练神经网络模型，获得经训练的神经网络模型。

作为第一方面的另一种实现方式，所述计算目标场景的多对左目图像和右目图像的视差，并计算融合视差图，包括：

针对目标场景的每对左目图像和右目图像计算视差，获得视差图；

融合多帧所述视差图，获得融合视差图。

作为第一方面的另一种实现方式，所述根据融合视差图计算目标场景的深度信息，并利用目标相机的内参和外参获取目标相机的深度真值，包括：

利用所述融合视差图计算目标场景的深度信息；

将所述深度信息转换为点云数据，并基于目标相机的内参和外参，将所述点云数据投影至目标相机的成像平面上；

根据投影至目标相机的成像平面的点云数据，计算目标相机获取的深度真值。

作为第一方面的另一种实现方式，所述获取双目相机和目标相机各自的内参，双目相机外参，以及所述双目相机中任一相机与目标相机的外参，包括：

分别获取不同姿态的标定板的左目标定图像、右目标定图像和目标相机的目标标定图像；