[发明专利]图像处理装置、图像处理方法和程序

说明书

技术领域

本公开涉及图像处理装置、图像处理方法和程序。

背景技术

近年来，称为增强现实(AR)的技术一直引人关注，在该技术中，向用户呈现其上重叠有附加信息的真实世界。在AR技术中向用户呈现的信息也被称为注释，并且可以使用诸如文本、图标或动画的各种形式的虚拟对象被可视化和获得。

下面的非专利文献1示出了一种用于在布置虚拟对象之前的阶段对真实空间进行建模的技术的示例。下面的非专利文献2示出了一种以计算用于在拍摄的图像上重叠虚拟对象所需的成像装置的位置和姿势为目的的使用自然标记的技术的示例。

AR技术也可以被用于包括与用户的交互的应用中。例如，下述的专利文献1公开了一种用于显示可由用户操纵的图标作为虚拟对象的技术。

引用列表

非专利文献

非专利文献1：A.van den Hengel,R.Hill,B.Ward and A.Dick,“In Situ Image-based Modeling”(In Proc.8th IEEE International Symposium on Mixed and Augmented Reality,2009)

非专利文献2：W.Daniel,G.Reitmayr,A.Mulloni,T.Drummond,and D.Schmalstieg,“Pose Tracking from Natural Features on Mobile Phones”(In Proc.7th IEEE International Symposium on Mixed and Augmented Reality,2008)

专利文献

专利文献1：JP 2010-238098A

发明内容

技术问题

但是，在上述的专利文献1中公开的技术中，虚拟对象只根据用户在二维屏幕上的操纵而移动。由于这个原因，难以说充分地实现了作为AR技术的一个优点的现实感。为了在与用户的交互中获得现实感，希望提供一种能够在三维空间中自由地操纵虚拟对象的机制。

解决问题的方案

根据本公开，提供一种图像处理装置，包括：识别单元，被配置为识别表示以拍摄了图像的终端的位置和姿势为基准的、图像中出现的环境的位置和姿势的环境识别矩阵；计算单元，被配置为计算环境识别矩阵的逆矩阵；以及操纵控制单元，被配置为按照与基于在第一时间点识别的环境识别矩阵的逆矩阵的第一位置或第一姿势和基于在随后的第二时间点识别的环境识别矩阵的逆矩阵的第二位置或第二姿势之间的差对应的三维操纵量，控制在所述环境中布置的虚拟对象的操纵。

根据本公开，提供一种图像处理方法，包括：识别表示以拍摄了图像的终端的位置和姿势为基准的、图像中出现的环境的位置和姿势的环境识别矩阵；计算环境识别矩阵的逆矩阵；以及按照与基于在第一时间点识别的环境识别矩阵的逆矩阵的第一位置或第一姿势和基于在随后的第二时间点识别的环境识别矩阵的逆矩阵的第二位置或第二姿势之间的差对应的三维操纵量，控制在所述环境中布置的虚拟对象的操纵。

根据本公开，提供一种程序，该程序使计算机充当：识别单元，被配置为识别表示以拍摄了图像的终端的位置和姿势为基准的、图像中出现的环境的位置和姿势的环境识别矩阵；计算单元，被配置为计算环境识别矩阵的逆矩阵；以及操纵控制单元，被配置为按照与基于在第一时间点识别的环境识别矩阵的逆矩阵的第一位置或第一姿势与基和基于在随后的第二时间点识别的环境识别矩阵的逆矩阵的第二位置或第二姿势之间的差对应的三维操纵量，控制在所述环境中布置的虚拟对象的操纵。

本发明的有益效果

在根据本公开的技术中，提供了一种能够在三维空间中自由地操纵虚拟对象的机制。

附图说明

[图1]图1是示出可以应用根据本公开的技术的环境的示例的说明图。

[图2]图2是用于描述根据本公开的技术的基本原理的第一说明图。

[图3]图3是用于描述根据本公开的技术的基本原理的第二说明图。

[图4]图4是用于描述根据本公开的技术的基本原理的第三说明图。

[图5]图5是用于描述根据本公开的技术的基本原理的第四说明图。

[图6]图6是用于描述基于根据本公开的技术决定的三维操纵量的第一示例的说明图。

[图7]图7是用于描述基于根据本公开的技术决定的三维操纵量的第二示例的说明图。

[图8]图8是用于描述基于根据本公开的技术执行的虚拟对象的操纵的示例的说明图。