[发明专利]图像处理设备、图像处理方法、程序以及图像处理系统

说明书

技术领域

本发明涉及一种图像处理设备、图像处理方法、程序以及图像处理系统。

背景技术

过去，已开发了称作MR(混合现实)的技术以为用户提供混合真实世界和虚拟世界的环境。AR(增强现实)，作为MR的实例，为用户提供通过对真实空间进行成像来获得以及用虚拟对象图像或附加信息来增强的图像。在MR中，常常在真实世界中布置一些接口以允许用户与虚拟世界或虚拟对象交互。例如，日本专利申请公开2002-247602号描述了用于提供这样的桌上冰球游戏的MR系统：在该游戏中，多个用户通过操纵控制箱(即，真实世界中的物理对象)互相击打冰球。

发明内容

然而，在如日本专利申请公开2002-247602号中描述的系统中一样由多个用户共享一个虚拟对象的情形中，会由于例如设备之间的通信延迟或者处理的延迟而在真实世界的状态与虚拟对象的状态之间出现不匹配。例如，在日本专利申请公开2002-247602号中描述的MR系统中，作为主控(master)的MR游戏设备获得由用户的头戴式显示器(HMD)获得的输入图像，对输入图像执行预定处理，并向用户的HMD发布输出图像。在此情形中，花费许多时间来获取输入图像以及发布输出图像。因此，用户手部的状态与HMD上显示的输出图像的状态不匹配，该不匹配很可能使用户感觉不舒服。在用于在由用户佩戴的透视显示器上投射虚拟对象的方法的情形中，问题在于用户看到的真实世界的状态以及在有通信延迟等的情况下投射的虚拟对象会在显示器上彼此移位。

相应地，本发明提供这样的新型和改进的图像处理设备、图像处理方法、程序以及图像处理系统：其可以在减少真实世界的状态与虚拟对象的状态之间的不匹配的同时提供混合现实。

根据本发明的实施例，提供了一种图像处理设备，包括：输入图像获取单元，用于获得通过拍摄真实空间的图像而生成的输入图像；图像识别单元，用于在检测到表示操纵开始的第一用户输入时识别用于操纵虚拟对象的操纵物，其中，操纵物出现在输入图像中；计算单元，用于根据由图像识别单元提供的操纵物的识别结果计算虚拟对象要显示在显示装置的屏幕上的位置；显示控制单元，用于在由计算单元计算出的显示装置的屏幕的位置处显示虚拟对象；以及通信单元，用于在检测到第一用户输入时向显示相同虚拟对象的另一设备发送用于通知操纵开始的第一通知信号。

根据以上结构，当检测到表示操纵开始的第一用户输入时，识别通过拍摄真实空间的图像获得的输入图像中出现的操纵物，作为识别的结果，控制虚拟对象的显示。此外，从操纵侧图像处理设备向观察侧图像处理设备发送第一通知信号以通知操纵开始。

第一通知信号可以包括用于标识虚拟对象的标识数据或者表示虚拟对象位置的位置数据。

当检测到表示操纵结束的第二用户输入时，通信单元可以向另一设备发送第二通知信号以通知操纵结束。

第二通知信号可以包括表示由计算单元计算的表示虚拟对象位置的位置数据。

图像识别单元还可以在通信单元从另一设备接收到第一通知信号时识别输入图像中出现的操纵物。

在由通信单元接收的第一通知信号与由图像处理设备要显示的虚拟对象无关时，图像识别单元可以不识别操纵物。

在检测到第一用户输入并且之后作为由图像识别单元提供的操纵物的识别结果确定操纵物与虚拟对象相接触时，通信单元可以向另一设备发送第一通知信号。

通信单元可以向管理显示同样虚拟对象的一组设备的信息处理设备发送第一通知信号。

第一通知信号可以包括用于标识虚拟对象的标识数据或者表示虚拟对象位置的位置数据，可以经由信息处理设备向显示相同虚拟对象的另一设备传送第一通知信号。

图像处理设备可以进一步包括：存储单元，存储表示操纵物的操纵物图像，并且图像识别单元可以使用存储单元中存储的操纵物图像来识别输入图像中出现的操纵物。

根据本发明的另一实施例，提供了一种由图像处理设备执行的图像处理方法，包括步骤：获得通过拍摄真实空间的图像而生成的输入图像；检测表示操纵开始的第一用户输入；将第一通知信号发送到显示与要由图像处理设备操纵的虚拟对象相同的虚拟对象的另一设备，以通知操纵开始；识别出现在输入图像中的用于虚拟对象的操纵的操纵物；根据操纵物的识别结果计算虚拟对象要显示在显示装置的屏幕上的位置；以及在计算出的显示装置的屏幕的位置处显示虚拟对象。