[发明专利]一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法

说明书

本发明涉及一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法。本发明所述方法使用物体的边缘特征进行姿态估计，不依赖物体表面的特征点，适合弱纹理或无纹理三维物体跟踪；本发明所述方法不对三维物体安装标志物或硬件定位传感器的前提下即可实时求解无纹理三维物体的姿态参数(物体相对于相机的旋转和平移参数)，使计算机生成的虚拟物体与图像序列中的三维物体画面对齐，生成无缝融合的虚实叠加效果。

技术领域

本发明涉及一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法，属于三维跟踪方法的技术领域。

背景技术

作为增强现实应用中配准虚拟信息与现实世界的关键技术之一，三维物体跟踪吸引了大量科研人员投入研究。目前已有许多三维跟踪方法被提出，但三维物体跟踪仍然是开放的充满挑战的课题。上述挑战一方面来源物体本身的物理属性，比如物体缺乏纹理，物体表面反光等；另一方面来源于物体所处的环境，比如复杂的背景、遮挡和变化的光照等。一般来说三维物体跟踪算法主要关注两个问题：1.如何建立三维物体表面与图像平面的关联(3D-2D关联)；2.如何优化求解三维物体姿态。第二个问题的解决方案相对成熟，所以现有三维物体跟踪算法集中研究如何鲁棒地建立3D-2D关联。依据建立3D-2D关联所使用图像特征的差异，三维物体跟踪方法可分为基于特征点、区域和边缘三类。

近年来，多种性能优异的特征点描述符算法涌现，例如SIFT，SURF、ORB。SIFT具有尺度和旋转不变性，被广泛用于特征点匹配和物体识别应用中，但其计算较为耗时，因此后续性能更为优异的SURF和ORB相继被提出。得益于上述算法的发展，基于特征点的三维物体跟踪方法，其在实时性和稳定性上有了显著提升。这些方法通常会在三维网格模型的纹理图像上提取特点和特征描述符，通过将纹理图像上的特征点反投影到三维模型表面上得到特征点对应的三维模型点。进行跟踪时，首先在图像上检测特征点并提取相应的特征描述符，通过与数据库里的三维特征点的描述进行匹配，建立3D-2D点对应；最后，利用匹配到的3D-2D点对应迭代求解物体的姿态。

尽管基于特征点的三维跟踪算法在遮挡、光照和尺度变化的情况下展示出了稳定的结果，约束环境下也能够实时运行。但是由于算法依赖特征点的检测和匹配，当环境和物体有相似纹理或跟踪目标物体缺乏纹理时，特征点匹配会发生错误或者完全检测不到稳定的特征点，难以取得稳定的跟踪结果。

基于区域的方法除了使用物体表面的局部特征点和特征描述符，也将物体表面的完整或局部区域的信息用于三维物体跟踪。基于区域的三维物体跟踪方法通常将物体分割和物体姿态估计耦合到一个框架下，寻求能最优分割物体和背景的姿态。此类方法使用水平集函数表示三维物体的投影轮廓，通过最大化投影轮廓里每个像素的前景概率和投影轮廓外每个像素的背景概率，来迭代调整三维物体的姿态。当物体调整到最佳姿态时，投影轮廓刚好分割开物体和背景。

基于区域的方法对遮挡、复杂背景和运动模糊具有一定程度的抗干扰能力，但是其基于统计level-set区分前背景，跟踪稳定性依赖前背景统计信息的区分度。当前背景颜色统计相似时，基于区域的方法无法很好地工作。

基于边缘的方法中，图像边缘反映了物体的几何形状，因其计算简单高效，早期的三维物体跟踪方法会选择图像边缘或轮廓作为特征。在已知三维几何模型和初始姿态的情况下，基于边缘的三维物体跟踪方法首先将物体投影到二维图像平面，寻求建立三维物体投影边缘与图像上物体的轮廓边缘的对应关系，通过最小化对应边或点间的距离，迭代优化求解得到物体的姿态参数。

基于边缘的方法的稳定性依赖于图像上边缘提取的质量。当图像或物体出现运动模糊，物体被遮挡，或者物体背景杂乱，图像上物体边缘或轮廓的获取就会受到干扰，三维跟踪算法的稳定性会降低。

发明内容

针对现有技术的不足，本发明提供一种基于三维几何模型的单目无纹理三维物体姿态跟踪方法。

术语说明：