[发明专利]联合环境重建和相机校准

说明书

在一个实施例中，一种方法包括访问相机装备的校准模型。该方法包括访问通过相机装备根据在环境中的多个姿态捕获的环境的多个观测结果。该方法包括至少基于观测结果、姿态和校准模型生成包括环境的几何结构的环境模型。该方法包括针对一个或更多个姿态，基于环境模型和姿态确定环境的一个或更多个预测的观测结果。该方法包括将预测的观测结果与对应于从其确定预测的观测结果的姿态的观测结果进行比较。该方法包括基于比较修正校准模型。该方法包括至少基于环境的一组观测结果和修正的校准模型来修正环境模型。

技术领域

本公开总体上涉及相机校准。

背景

为了确保准确性，相机通常在它们被用于捕获计算机视觉和相关应用中使用的测量值或其他数据之前进行校准。不准确的测量，无论误差来源如何，都可能在依赖基本测量的应用中加剧和造成严重误差。随着计算机视觉应用越来越复杂，测量误差加剧的机会也越来越多。许多相机校准方法通常需要特殊的配置设备、特殊配置的环境或环境中的特殊几何结构。许多方法还消耗大量的时间和计算资源，增加了频繁执行校准所造成的负担，尽管先前的校准很大可能由于处理不当、环境变化和设备退化而变得不准确。相机校准技术可以用于具有数字输出的许多类型的相机。

移动计算设备(例如智能手机、平板计算机或膝上型计算机)可以包括用于确定它的位置、方向或定向的功能，例如GPS接收器、罗盘、陀螺仪或加速度计。这种设备还可以包括用于无线通信(例如蓝牙通信、近场通信(NFC)、或红外(IR)通信、或与无线局域网(WLAN)或蜂窝电话网络的通信)的功能。这种设备还可以包括一个或更多个相机、扫描仪、触摸屏、麦克风或扬声器。移动计算设备还可以执行软件应用，例如游戏、web浏览器或社交网络应用。使用社交网络应用，用户可以与他们的社交网络中的其他用户关连(connect)、通信和分享信息。

特定实施例的概述

在特定实施例中，一种用于由与相机装备(camera rig)相关联的计算设备进行联合环境重建和相机校准的方法包括访问相机装备的校准模型。初始校准模型可以例如通过作为制造商过程的一部分的标准校准程序来预先确定。该方法可以包括访问通过相机装备根据在环境中的多个姿态(pose)捕获的环境的第一多个观测结果(observations)。当捕获环境的观测结果时，也可以捕获关于相机装备的姿态的信息。在特定实施例中，环境的观测结果可以包括基于对投射到环境中的结构光图案的检测的(例如，从深度相机生成的)深度图。

在特定实施例中，该方法可以包括至少基于第一多个观测结果、多个姿态和校准模型生成包括环境几何结构的环境模型。校准模型可用于基于姿态解释观测结果。环境模型可以包括通过融合环境的多个估计形成的环境的数字重建，其中环境的每个估计可以来自单个观测结果和姿态配对。

该方法可以包括针对多个姿态中的一个或更多个姿态，基于环境模型和一个或更多个姿态确定环境的一个或更多个预测的观测结果。可以通过基于收集的姿态(例如，通过环境模型)创建环境的模拟观测结果来生成预测的观测结果。该方法可以包括将一个或更多个预测的观测结果与对应于从其确定一个或更多个预测的观测结果的一个或更多个姿态的第一观测结果中的一个或更多个第一观测结果进行比较。该比较可以包括确定预测的观测结果和捕获的观测结果之间的任何差异。相机校准模型可以例如基于比较(例如基于比较的结果)来被修正。该方法可以包括至少基于环境的第二多个观测结果和修正的校准模型来修正环境模型。该过程可以继续，在基于新捕获的观测结果修正环境模型和基于修正的环境模型修正相机校准模型之间交替。