[发明专利]一种基于桌面真三维的文物交互方法

说明书

本发明公开了一种基于桌面真三维的文物交互方法。具体为首先利用多视点光场采集系统采集目标文物光场信息，然后处理光场信息获取目标文物模型数据及彩色纹理数据并进一步生成目标文物的彩色三维模型，接着对实际场景中的光照信息进行估计，然后将文物三维模型与实际场景进行融合并加入手势交互操作，最后将融合后的目标文物三维交互场景进行桌面真三维展示并使用相应的交互设备对其进行精确的实时交互驱动。该方法不仅可以最大程度的还原与展现真实文物，还可以通过相应的交互设备与“真实”文物进行互动，进而更为有效地传递文物教育意义。

技术领域

本发明涉及桌面真三维显示技术领域，尤其涉及一种基于桌面真三维的文物交互方法。

背景技术

中国是一个历史悠久，文化灿烂的国家，有着众多的世界文化遗产，闪烁着中国人民智慧和勤劳的光芒。而文物作为重要的历史文化遗产，不仅是历史的见证，更是有着重要的正史作用，借鉴作用以及教育作用。但由于管理不善，观念落后等原因，我国文物面临严峻的形势，主要表现在以下几个方面的问题：展出数量少、文物保护手段落后、迁址保护损害文物价值、陈列手段落后、虚拟文物交互受众面小。

随着科技的发展，“虚拟文物”应运而生，“虚拟文物”指仿照真实文物在建模软件中构建出真实文物的三维模型，“虚拟文物”虽然能够有效的保护文物，代替真实文物进行展览展示，但是目前“虚拟文物”的展现方式大多数为伪“三维”形式进行展示，且完全不能与“虚拟文物”进行互动，这种展示方法并不能够真实立体的全方位展示目标文物，进而严重的阻碍了目标文物教育意义的传递。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于桌面真三维的文物交互方法。该方法不仅可以最大程度的还原与展现真实文物，还可以通过相应的交互设备与“真实”文物进行互动，进而更为有效地传递文物教育意义。

为了实现上述目的，本发明采用的技术方案是：一种基于桌面真三维的文物交互方法，包括如下步骤：

a.利用多视点光场采集系统采集目标文物多幅视角图像；

b.处理多幅视角图像进行目标文物点云模型的重建；

c.对实际场景中的光照信息进行估计，将虚拟文物模型与实际场景进行融合；

d.采用深度成像及机器视觉构建手势集和解释手势语义；

e.采用Kinect体感跟踪设备实现文物展示场景的实时手势交互。

作为进一步优化，步骤a中利用多视点光场采集系统采集目标文物多幅视角图像。多视点光场采集系统是由多摄像机采集阵列与光场环境组成，多摄像机采集阵列采用环形摆放方式，尽可能采集到目标文物不同角度的信息，采集的CCD摄像机要求能够达到60帧/秒，1200万像素采集，图像分辨率达到1920×1080以上，这样的好处在于可以最为精确的获取目标文物的光场信息。光场环境由环形均匀分布的发光二极管LED构成，其主要作用为目标物提供光照，方便CCD摄像机信息采集。

作为进一步优化，步骤b中所述处理多幅视角图像进行目标文物点云模型的重建。在单幅视角图像的情况下，使用运动恢复结构方法来重建目标文物的稀疏点云。为了得到目标文物的稠密点云模型，使用多视角立体视觉的方法，采用多幅视角图像进行点云模型重建。

作为进一步优化，步骤c中所述对实际场景中的光照信息进行估计，将虚拟文物模型与实际场景进行融合。实际场景中可能存在漫反射或者镜面反射，通过检测镜面高光点来判断场景中是否存在镜面反射。使用维纳熵的非标准化形式来检测图像中镜面现象，通过检测多幅视角图像的镜面高光点，将场景区分为只存在漫反射的场景或者是同时存在漫反射与镜面反射的场景。使用估计出的光照结果进行虚实融合后场景渲染，在渲染过程中考虑虚拟文物与实际场景的遮挡问题，完成虚实融合中的光照一致性。