[发明专利]三维空间及手势识别追踪交互方法、装置和系统

摘要

本发明公开了一种三维空间及手势识别追踪交互方法、装置和系统，属于增强现实领域，该方法包括：采集现实场景的原始二维图像数据；根据原始二维图像数据生成深度图像，根据深度图像生成三维点云数据；提取原始二维图像数据的特征点数据，并进行特征点的匹配，得到匹配后的数据，特征点的匹配后的数据包括不同视点下的2.5D点云数据和稀疏三维点云，稀疏三维点云对应于二维图像上的特征描述子；将特征点的匹配后的数据与三维点云数据进行场景配准，得到现实场景对应虚拟场景的变换矩阵；将虚拟物体与现实场景对应虚拟场景的变换矩阵进行叠加。本发明能够在移动终端上对场景进行识别、跟踪，给予用户良好增强现实应用体验，且内容丰富，操作简单。

主权项

1.一种三维空间及手势识别追踪交互方法，其特征在于，包括如下步骤：采集现实场景的原始二维图像数据；在移动端，根据所述原始二维图像数据生成深度图像，进而根据所述深度图像生成三维点云数据；在移动端，提取所述原始二维图像数据的特征点数据，并进行特征点的匹配，得到特征点的匹配后的数据，所述特征点的匹配后的数据包括不同视点下的2.5D点云数据和稀疏三维点云，所述稀疏三维点云对应于二维图像上的特征描述子；在移动端，将特征点的匹配后的数据与三维点云数据进行场景配准，得到现实场景对应虚拟场景的变换矩阵；在移动端，将虚拟物体与所述现实场景对应虚拟场景的变换矩阵进行叠加；还包括如下步骤：将特征点的匹配后的数据传输到服务器，服务器根据所述特征描述子进行匹配，若在与服务器连接的数据库中找到已存的虚拟场景的变换矩阵，则将所找到已存的虚拟场景的变换矩阵返回，替代上述将特征点的匹配后的数据与三维点云数据进行场景配准所得到的虚拟场景的变换矩阵；若没有找到，则将特征描述子和三维点云数据上传至服务器，服务器进行高精度配准计算，生成高精度的现实场景对应虚拟场景的变换矩阵，并存入数据库。