[发明专利]深度图生成的方法及系统

说明书

本公开的方面通常涉及从视频生成深度数据。例如，一个或多个计算设备120、130、140可以接收对静态图像捕获模式的初始化请求。在接收到用于初始化所述静态图像捕获模式的所述请求之后，所述一个或多个计算设备可以自动地开始捕获包括多个图像帧330、410、420、520、710、720的视频。所述一个或多个计算设备在所述视频的第一图像帧330、520和所述视频的其他图像帧410、420、710、720中的每个其他图像帧之间跟踪特征。与所跟踪的特征相对应的点可以由所述一个或多个计算设备使用假设集合来生成。所述假设可以包括不存在轮换的第一假设和不存在转化的第二假设。所述一个或多个计算设备然后至少部分基于所述点生成深度图516、526。

相关申请的交叉引用

本申请是于2014年5月15日提交的美国专利申请No.14/278,471 的继续申请，所述美国专利申请No.14/278,471是于2013年10月23 日提交的美国专利申请No.14/061,423、现在的美国专利No.8,760,423 的继续申请，其公开通过引用合并至此。

背景技术

多种系统都允许用户使用视频的图像帧或静态图像生成结构的深度图或三维(3D)表示。典型地，这样的系统要求大量的计算能力或从不同位置捕获到的大量图像。然而，这样的系统通常不能够从静态图像或具有非常小差异的多个静态图像来创建深度图。

发明内容

本公开的方面提供了计算机实现的方法。所述方法包括由一个或多个计算设备接收对静态图像捕获模式的初始化请求；在接收到用于初始化所述静态图像捕获模式的所述请求之后，由所述一个或多个计算设备自动地开始捕获包括多个图像帧的视频；由所述一个或多个计算设备在所述视频的第一图像帧和所述视频的其他图像帧中的每个其他图像帧之间跟踪特征；由所述一个或多个计算设备使用假设集合来生成与所跟踪的特征相对应的3D点的集合，所述假设集合包括第一假设和第二假设，所述第一假设是所述视频的多个图像帧之间不存在旋转，所述第二假设是所述视频的多个图像帧之间不存在平移；以及至少部分地基于所述3D点的所述集合，由所述一个或多个计算设备生成所述场景的深度图。

在一个示例中，所述方法还包括，在开始捕获所述视频之后，接收用于捕获所述场景的静态图像的指令；以及响应于接收到所述指令，而停止对所述视频的捕获并捕获所述静态图像。在另一个示例中，所述方法还包括将所述深度图与所述静态图像相关联；以及将所述深度图、所述静态图像、和所述关联存储在存储器中。在另一个示例中，所述假设集合还包括第三假设，所述第三假设是所述场景中任何观察到的点的深度都被初始地设置为随机距离。在另一个示例中，生成所述深度图包括：使用平滑先验，所述平滑先验考虑到不相邻像素的关系。在另一个示例中，所述方法还包括：使用所述深度图来生成所述场景的三维表示。在另一个示例中，所述一个或多个计算设备是蜂窝电话。

本公开的方面提供了包括一个或多个计算设备的系统。所述一个或多个计算设备被配置成接收对静态图像捕获模式的初始化请求；在接收到用于初始化所述静态图像捕获模式的所述请求之后，自动地开始捕获包括多个图像帧的视频；在所述视频的第一图像帧和所述视频的其他图像帧中的每个其他图像帧之间跟踪特征；使用假设集合来生成与所跟踪的特征相对应的3D点的集合，所述假设集合包括第一假设和第二假设，所述第一集合是所述视频的多个图像帧之间不存在旋转，所述第二假设是所述视频的多个图像帧之间不存在平移；以及至少部分地基于所述3D点的所述集合，生成所述场景的深度图。