[发明专利]注解方法和装置

说明书

技术领域

本发明涉及一种用于向对应于场景的数据添加注解的注解方法。

背景技术

诸如智能电话、掌上型计算机、便携式媒体播放器、个人数字助理（PDA）设备等手持式便携设备的开发的快速发展已导致提议包括涉及到图像处理的新型特征和应用。在此类应用中（即图像注解或加标题），用户使便携式设备指向场景，例如风景、建筑物、海报或博物馆中的油画，并且显示器显示图像以及关于场景的叠加信息。此类信息可以包括例如用于山和居所的名称、人名、用于建筑物的历史信息以及诸如广告之类的商业信息，例如饭店菜单。在EP1246080中和在EP2207113中描述了此类系统的示例。

可以由无线通信网络中的服务器将注解信息供应给便携式设备。具有服务器和便携式设备的通信网络的相应功能配置在这里将被指定为注解系统。

WO05114476描述了一种移动式基于图像信息取回系统，包括移动电话和远程识别服务器。在此系统中，将用移动电话的照相机拍摄的图像发射到其中执行识别过程的远程服务器。这导致用于发射图像的高带宽需要以及用于在服务器中计算注解并将其传输回到移动电话的延迟。

许多注解系统和方法包括将由注解设备获取的图像与存储在数据库中的一组参考图像相比较的步骤。由于实际观看角和照明条件相对于存储在数据库中的图像而言可以是不同的，所以比较算法应去除这些参数的影响。

此外，更尖端的图像注解技术使用3D参考模型。这常常涉及到配准过程，即对捕捉（或目标）图像进行空间变换以与参考3D模型对准的过程。在建筑物的情况下，例如，将对象的3D模型连同要注解的细节一起存储在参考数据库中。用此模型对由便携式设备获取的2D图像进行配准，并且如果可以找到匹配，则识别该对象并将相应的注解叠加到2D图像上。

基于3D模型的图像注解模型相比于更不取决于观看角的2D模型而言具有优点。可以使用单个3D模型作为用于与从不同位置且以不同角度捕捉的多个不同2D图像匹配的参考。然而，构建许多3D模型是困难且麻烦的过程；这通常要求3D或立体照相机。此外，用3D模型来配准2D捕捉图像的过程是耗费时间的。

因此本发明的目的是解决或至少缓解现有增强现实系统的上述问题。

发明内容

根据本发明，经由包括以下步骤的方法来实现这些目的：用全光捕捉设备来捕捉表示光场的数据；执行用于使捕捉数据与相应参考数据匹配的程序代码；执行用于取回与所述参考数据的元素相关联的注解的程序代码；执行用于再现从所述捕捉数据生成的并包括至少一个注解的视图的程序代码。

还经由用于捕捉对应于场景的数据并加注解的装置来实现本发明，包括：全光照相机，用于捕捉表示光场的数据；处理器；显示器；程序代码，用于引起所述处理器取回与用所述照相机捕捉的数据元素相关联的注解并在执行所述程序代码时将其用于在所述显示器上再现从捕捉数据生成的且包括至少一个注解的视图。

本发明还提供了一种用于确定注解的装置，包括：处理器；存储器（store）；程序代码，用于引起所述处理器接收表示光场的数据，使所述数据与所述存储器中的一个参考数据匹配，确定与所述参考数据相关联的注解，并在执行所述程序代码时将所述注解发送到远程设备。

因而全光照相机是已知的，并且在市场上以低成本可获得。不同于在传感器上简单地捕捉场景的2D投影的常规照相机，全光照相机捕捉表示光场的数据，即不仅指示每个像素上的光强度、而且指示到达此像素/子图像的光的方向或者至少从各种方向到达每个单个子图像的光强度的矩阵。

因此，全光传感器与由常规2D图像传感器生成的常规2D图像数据相比生成包含关于到达每个子图像的光的更多信息的数据。

由全光传感器生成的数据包括关于并非直接从常规3D传感器、也非从立体照相机可获得的场景的信息。因此，由于可获得更多且不同的信息，所以使捕捉数据与参考数据匹配的过程比使2D图像与2D或3D模型匹配的常规方法更加可靠。直觉的是具有关于捕捉场景的更多信息可以在改善识别性能以及改善配准质量方面有益。

由全光照相机提供的数据与模型的匹配也比2D或3D捕捉图像数据与3D模型的匹配更加鲁棒（robust）。

表示光场且由全光传感器捕捉的数据的匹配可包括将光场数据投射到2D图像上并使此2D图像与2D或3D参考模型匹配的步骤。由于不同的投射是可能的（例如对应于可以在全光图像的再现期间选择的不同焦点），所以此过程导致增加的匹配可能性。然而，需要附加资源以用于计算这个或那些投射，并且关于捕捉场景的信息在转换期间丢失，导致更不精确且更慢的匹配。