[发明专利]三维空间及手势识别追踪交互方法、装置和系统

说明书

本发明公开了一种三维空间及手势识别追踪交互方法、装置和系统，属于增强现实领域，该方法包括：采集现实场景的原始二维图像数据；根据原始二维图像数据生成深度图像，根据深度图像生成三维点云数据；提取原始二维图像数据的特征点数据，并进行特征点的匹配，得到匹配后的数据，特征点的匹配后的数据包括不同视点下的2.5D点云数据和稀疏三维点云，稀疏三维点云对应于二维图像上的特征描述子；将特征点的匹配后的数据与三维点云数据进行场景配准，得到现实场景对应虚拟场景的变换矩阵；将虚拟物体与现实场景对应虚拟场景的变换矩阵进行叠加。本发明能够在移动终端上对场景进行识别、跟踪，给予用户良好增强现实应用体验，且内容丰富，操作简单。

技术领域

本发明涉及增强现实领域，特别是指一种基于双目摄像头的三维空间及手势识别追踪交互方法、装置和系统。

背景技术

增强现实(AR)是通过信息技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或在同一空间同时存在。增强现实技术将动态的、背景专门化的信息加在用户的视觉域之上，它借助计算机图形图像与可视化技术产生虚拟对象，并通过传感技术将它们准确地“放置”于真实环境中，使之借助显示设备与真实环境融为一体。

增强现实具有以下特点：一是有一个输入设备:增强现实的系统必须有一个图像输入设备,它可以获取真实世界的图像。现在普遍采用的是摄像头，包括单目摄像头，双目摄像头，深度摄像头等。二是识别追踪算法:追踪算法的作用是可以把虚拟物体和真实摄像头图像实现无缝的叠加,使得人们可以感觉一个虚拟的物体就在真实世界里面。追踪算法是增强现实最核心的部分。三是实时交互:它使交互从精确的位置扩展到整个环境，从简单的人面对屏幕交流发展到将自己融合于周围的空间与对象中。运用信息系统不再是自觉而有意的独立行动，而是和人们的当前活动自然而然地成为一体。交互性系统不再是具备明确的位置，而是扩展到整个环境。

传统的增强现实应用一般是通过台式电脑(PC)来实现人机交互。这种交互方式适用于相对固定的环境。移动设备在生活中应用日益广泛，在移动设备应用环境中使用PC交互不是很方便，移动设备提供了触控、摇动、语音、图像输入等多种交互手段。因此把移动设备的交互手段和增强现实应用结合不仅能给用户带来更好的交互体验，同时也可以让增强现实得到更广泛的应用。现在的移动设备可以包括：手机，增强现实眼镜，虚拟现实头盔。

发明内容

本发明提供一种三维空间及手势识别追踪交互方法、装置和系统，本发明能够在移动终端上对场景进行识别、跟踪，给予用户良好增强现实应用体验，且内容丰富，操作简单。

为解决上述技术问题，本发明提供技术方案如下：

一方面，提供一种三维空间及手势识别追踪交互方法，包括如下步骤：

采集现实场景的原始二维图像数据；

在移动端，根据所述原始二维图像数据生成深度图像，进而根据所述深度图像生成三维点云数据；

在移动端，提取所述原始二维图像数据的特征点数据，并进行特征点的匹配，得到特征点的匹配后的数据，所述特征点的匹配后的数据包括不同视点下的2.5D点云数据和稀疏三维点云，所述稀疏三维点云对应于二维图像上的特征描述子；

在移动端，将特征点的匹配后的数据与三维点云数据进行场景配准，得到现实场景对应虚拟场景的变换矩阵；

在移动端，将虚拟物体与所述现实场景对应虚拟场景的变换矩阵进行叠加。

进一步的，还包括如下步骤：