[发明专利]影像处理装置、影像处理方法及影像处理系统

说明书

技术领域

本发明涉及影像处理装置、影像处理方法及影像处理系统。

背景技术

近年，用于提示立体影像的技术开发正在推进，可提示具有深度的立体影像的头戴式可视设备（Head Mounted Display，以下记述为“HMD”）正逐渐普及。在这样的HMD中，开发有在使用全息（holographic）元件、半反射镜（half mirror）等将立体影像提示给用户的同时，用户能够透视观看HMD外面的情景的光学透射式HMD。

另一方面，生成在用照相机等拍摄元件拍摄的现实世界的影像中附加有CG（Computer Graphics：计算机图形）等影像的影像，并对提示给用户的现实世界的影像的一部分进行修改的AR（Augmented Reality：增强现实）技术正进入实用阶段。在AR技术中，有时识别条型码等可识别的特定的信息（以下，称作“标记物”），与该信息捆绑地生成图像。

若将拍摄元件安装于光学透射式HMD，则能够拍摄映入用户视场中的标记物。能够与该标记物捆绑地生成AR图像、提示到HMD。但是，光学透射式HMD中所安装的拍摄元件的视场角会与用户头部的移动相联动地变动。因此，例如在用户携带标记物移动那样的情况等时，有时标记物会难以进入拍摄元件的视野，故希望能够精确度更高地确定标记物的位置。

发明内容

本发明是鉴于这样的课题而研发的，其目的在于提供一种提高可识别位置的特定信息的位置确定的精确度的技术。

为解决前述课题，本发明的一个方案是影像处理装置。该装置包括：取得光学透射式HMD所具有的第1拍摄元件所拍摄的影像的影像取得部，该光学透射式HMD用于提示在将虚拟三维空间中的三维图像投影到实际空间中时所观看的影像，所述第1拍摄元件拍摄包含佩戴该光学透射式HMD的用户的视野的区域；标记物检测部，检测上述影像取得部所取得的上述第1拍摄元件拍摄的影像中所包含的标记物。在此，上述影像取得部还取得具有与第1拍摄元件的视场角至少部分重叠的视场角的第2拍摄元件所拍摄的影像；当上述第1拍摄元件拍摄的影像中没有拍摄到上述标记物时，上述标记物检测部检测上述第2拍摄元件所拍摄的影像中的上述标记物。

本发明的另一方案是影像处理方法。该方法使处理器执行如下步骤：取得光学透射式HMD所具有的第1拍摄元件所拍摄的影像的步骤，该光学透射式HMD用于提示在将虚拟三维空间中的三维图像投影到实际空间中时所观看的影像，所述第1拍摄元件拍摄包含佩戴该光学透射式HMD的用户的视野的区域；取得具有与上述第1拍摄元件的视场角至少部分重叠的视场角的第2拍摄元件所拍摄的影像的步骤；以及检测上述第1拍摄元件和上述第2拍摄元件的至少一者所拍摄的影像中所包含的标记物的步骤。

本发明的另一方案是影像处理系统。该系统包括：光学透射式HMD，提示将虚拟三维空间中的三维影像投影到实际空间中时所观看的影像；上述光学透射式HMD所具备的第1拍摄元件，拍摄处于区域内的被摄物体，该区域是包含佩戴上述光学透射式HMD的用户的视野的区域；第2拍摄元件，具有与第1拍摄元件的视场角至少部分共有的视场角；以及影像生成部，将上述第1拍摄元件和上述第2拍摄元件的至少一者所拍摄的被摄物体作为标记物，生成要提示给上述光学透射式HMD的AR（Augmented Reality：增强现实）图像。

本发明的另一个方案是使计算机实现前述的方法的各步骤的程序。

该程序可以作为为进行视频和音频的解码器等硬件资源的基础控制而被内置于设备中的固件的一部分来提供。该固件例如被存储于设备内的ROM（Read Only Memory：只读存储器）、闪存存储器等半导体存储器中。为提供该固件，或为更新（update）固件的一部分，可以提供记录有该程序的计算机可读取的记录介质，该程序还可以通过通信线路来传送。

此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、计算机程序、数据结构、记录介质等间变换后的实施方式，作为本发明的方案也是有效的。

附图说明

图1是示意性地表示实施方式的立体影像观察设备的外观的一个例子的图。

图2是示意性地表示实施方式的影像提示系统的整体结构的图。

图3是示意性地表示实施方式的影像处理装置的内部结构的图。

图4是表示实施方式的标记物和AR图像的一个例子的图。

图5的（a）－（b）是例示第1拍摄元件的视场角与标记物的位置关系、以及此时的光学透射式HMD的影像的图。