[发明专利]基于光流的倾斜传感器

说明书

技术领域

本公开涉及运动估算。

背景技术

数字相机捕捉图像的数字表示，和可以被结构为在指定时间内捕捉多个图像。对数字图像进行处理可以包括对单个图像的多个方面进行处理，以确定单个图像的特性，或者包括对一系列图像的多个方面进行处理，以识别正在成像的环境特性或者图像捕捉设备的属性。在被称为光流的处理中，可以比较一系列图像中对象的位置，以确定该多个图像中的对象与该图像捕捉设备之间的相对运动。

发明内容

在这里描述的一个一般例子中，可以对取自数字相机的一系列图像进行分析，以确定该数字相机的运动，和，基于所确定的运动，确定到设备的用户输入。所描述的各种实施例包括以下特性中的一个或多个。例如，将光流用作诸如照相电话的手持娱乐设备中的倾斜传感器。为了实现实时性能，可以使用稀疏特征集/稀疏流场。通过为流场找到最典型的(或者最大统计聚类的)结果，可以对非静止场景进行处理。可以在一段经过延伸跨度的时间内，对相对于初始位置和/或方位的位置和/或方位进行计算。可以在照相电话上使用特征，在该照相电话中，相机被固定，和背向用户。可以为处理能力有限的设备设计实施例/特性。

按照一般方面，方法包括捕捉来自运动的可移动相机的图像，和基于所捕捉的图像确定运动的可移动相机的运动描述。该方法还包括提供接口给接口设备上的应用程序。基于所述确定的运动，以自动方式确定到应用程序的用户输入。

上述一般方面的实施例可以包括以下一个或多个特性。例如，所述接口设备可以被物理地耦合到可移动相机，或者，被物理地集成在包括可移动相机的设备中。运动的可移动相机可以被物理地耦合到移动电话。

可以自动方式执行对运动描述的确定，和，可以包括一个或多个幅值和方位的确定。确定运动的描述还可以包括使用光流。

确定运动的可移动相机的运动描述可以包括计算运动中可移动相机在两个或三个自由度中的旋转。确定运动的可移动相机的运动描述还可以包括计算运动的可移动相机的平移。

确定运动的可移动相机的运动描述可以包括计算运动的可移动相机相对于运动的可移动相机的初始位置的运动。可以使用应用程序重置所述运动的可移动相机的初始位置。

确定运动的可移动相机的运动描述可以包括确定被捕捉到图像内的特征的运动，和，基于所述特征的运动确定可移动相机的运动。可以基于已经确定的特征运动将所述特征分段为一组相对于真实世界的参考帧移动的运动特征。分段运动特征可以包括选择一组覆盖最大面积的特征，和忽略没有被选择的特征。分段运动特征还可以包括忽略不具有与有效组特征相似方向和幅值的特征。

确定运动的描述可以包括从捕捉到的图像中提取多个特征，和比较所述图像，以匹配在不止一个图像中出现的特征。通过计算当前图像中的特征的位置相对于前一个图像中的特征的位置的位移，可以确定用于匹配特征的流矢量。根据为匹配特征所确定的流矢量，确定可移动相机的运动。

从捕捉到的图像中提取多个特征可以包括对若干拐角和若干边缘中的至少一个进行检测。比较所述图像以匹配特征可以包括首先比较靠近另一个图像中该特征的已知位置的图像块。比较所述图像以匹配特征还可以包括首先比较低分辨率处的图像，和，无论是否找到匹配，比较较高分辨率的图像。根据流矢量确定可移动相机的运动的步骤可以包括通过对按照图像相关单元确定的运动进行转换，按照真实世界单位，确定可移动相机的运动。

捕捉图像可以包括捕捉序列图像。确定运动的可移动相机的运动描述可以包括确定用于该序列图像内第一子组图像中可见的第一特征的运动。确定运动的可移动相机的运动描述还可以包括确定用于该序列图像内第二子组图像中可见的第二特征的运动，第二子组与第一子组部分重叠，和第二特征与第一特征具有固定的物理关系，其中，即使第一特征在所有的第二子组图像中不可见，第二特征的运动仍然基于与第一特征相关的运动。基于已经确定的与第一和第二特征相关的运动，可以确定运动的可移动相机的运动描述。

用户输入可以复制倾斜传感器功能，和对应用程序中的对象的倾斜、应用程序中的球的运动、应用程序中的运输工具的调整功能、应用程序中的对象的靶向功能、应用程序中的对象的导航功能、应用程序中有关节人物的移动或者粒子仿真应用程序中的粒子移动进行控制。当确定的运动的幅值大于阈值幅值时，可以确定所述用户输入。所述应用程序可以包括游戏、跟踪应用程序以及安全应用程序中的至少一个。