[发明专利]图像处理设备及图像处理方法

说明书

技术领域

本发明涉及一种可以检测多个连续图像的特征的图像处理设备和图像处理方法。

背景技术

近年来，已知混合现实(MR)技术作为用于实时无缝混合现实世界和虚拟世界的技术。一种MR技术是利用视频透视头戴式显示器(HMD)或手持视频显示设备(手持装置(HHD))向用户提供混合现实图像。

用于实现MR技术的视频透视HMD通过例如摄像机拍摄与从用户的眼的位置观看到的被摄体大致一致的被摄体。视频透视HMD通过向用户显示其上重叠了计算机图形(CG)的拍摄图像实现混合现实空间。

已知这样一种技术，该技术通过检测拍摄图像中的特征点来测量HMD的位置和姿势，并且在适当位置配置虚拟物体，从而将CG重叠在拍摄图像上。通常，用于检测拍摄图像中的特征点的处理产生大的处理负荷，因此需要有效降低处理负荷，即使仅稍微降低也好。降低处理负荷也引起功耗降低，因而如果通过电池提供电力，则可以延长HMD的工作时间。

用于降低在检测拍摄图像中的特征点的处理时的处理负荷的一种方法是将当前帧中的特征点与前一帧中的特征点的检测结果进行比较的方法。日本特开2006-331108号公报所述方法在位于极线处的两个所拍摄的运动图像中进行立体测量。该日本专利申请讨论到：在该方法中，如果利用两个照相机所拍摄的其中一个图像中的特征点相比前一帧的结果在预定值的范围内，则继承前一帧的结果以在当前帧中限制对象区域。

在日本特开2006-331108号公报所述的方法中，由于该方法基于立体测量，所以难以对左侧和右侧独立进行图像处理，其中，立体测量需要检测左拍摄图像和右拍摄图像中的一致点，并且需要通过比较它们来确认它们实际上是否相互一致。因此，该方法在HMD处于倾斜状态时不能提供足够精确的处理，并且不能容易且高效地实现，因而该方法不适于MR系统。

发明内容

本发明涉及一种用于在多个输入图像中独立且有效地检测特征点、将所检测到的每一特征与先前结果进行比较、并且精确地继承先前结果从而降低处理负荷的技术。

根据本发明的一个方面，一种图像处理设备包括：检测单元，用于在图像的帧中顺序检测多个特征；获取单元，用于顺序获取检测到的所述多个特征的信息；以及判断单元，用于比较在所述图像的当前帧中所检测到的特征的信息和存储在存储单元中的在先前帧中所检测到的先前特征的信息，并且顺序判断在所述当前帧中所检测到的每一特征是否与存储在所述存储单元中的相应的先前特征相一致；其中，在判断为在先前特征和相应的当前特征之间存在预定数量的一致的情况下，所述判断单元停止所述判断，并且将在所述先前帧中所检测到的多个特征的信息设置作为在所述当前帧中所检测到的多个特征的信息。

根据本发明的其它方面，一种图像处理方法，包括以下步骤：在图像中检测当前特征；获取所检测到的当前特征的信息；将从所述图像的先前帧中所检测到的多个特征的信息中的先前特征的信息与所检测到的当前特征的信息进行比较；判断所述先前特征是否与所述当前特征一致；以及重复所述检测、所述比较和所述判断，直到存在预定数量的一致的先前特征和相应的当前特征为止，并且在存在所述预定数量的一致的先前特征和相应的当前特征的情况下，至少停止所述判断，并且将在所述图像的所述先前帧中所检测到的多个特征的信息设置作为所述图像的信息。

通过以下参考附图对典型实施例的详细说明，本发明的其它特征和方面将显而易见。

附图说明

包含在说明书中并构成说明书的一部分的附图，示出本发明的典型实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1是根据本发明第一典型实施例的系统的框图。

图2是根据第一典型实施例的特征检测单元的详细框图。

图3A、3B和3C示出输入图像和第一标记的个别标记信息。

图4A和4B示出前一帧的输入图像及其所记录的标记信息。

图5示出存储在特征历史记录单元中的标记信息。

图6A、6B和6C示出当前帧的设置结果以使其成为与先前帧相同的例子。

图7A和7B示出隐藏标记的一部分时的例子。

图8A、8B和8C示出前一帧的结果和当前帧的结果之间的差超过阈值的例子。

图9示出记录在特征历史记录单元中的多个先前标记信息。

图10A、10B和10C示出与多个先前帧的比较。

图11示出控制单元根据多个先前帧输出一致命令的条件。

图12示出控制单元根据多个先前帧输出一致命令的条件。