[发明专利]基于特征点追踪由聚焦堆栈重构三维场景的方法和装置

说明书

本发明公开了一种基于特征点追踪由聚焦堆栈重构三维场景的方法和装置，包括：建立由三维场景生成聚焦堆栈的正演模型，给出三维场景特征点与聚焦堆栈的几何关系；提取聚焦堆栈中每个图像的特征点，追踪匹配成功的特征点的坐标，得到特征点在聚焦堆栈中的轨迹；建立由聚焦堆栈重构三维场景的反演模型：由匹配成功的特征点，建立关于特征点三维坐标的方程组，通过求解方程组得到特征点的三维坐标，重构三维场景，并实现三维几何测量。本发明的聚焦堆栈是将探测器固定，通过沿光轴移动透镜完成聚焦堆栈的采集，采用本发明的方案，能够实现相机拍摄视角下的三维重构，可以为虚拟现实和几何测量提供精确的三维结构信息。

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于特征点追踪由聚焦堆栈重构三维场景方法和装置。

背景技术

传统相机拍摄的照片是三维场景发出的光线经过透镜在二维探测器上光强的累加和，这样导致光线方向信息和场景深度信息被压缩。计算摄影学是近年来新兴的研究三维成像的新领域，聚焦堆栈是计算摄影学中三维场景重构的方法之一。聚焦堆栈是一组聚焦在不同成像平面或采用不同参数拍摄的成像序列，具有丰富的三维信息。在计算机视觉中，主要以聚焦堆栈的散焦和聚焦的程度进行三维场景的重构和几何测量。现有的由聚焦堆栈重构三维场景的方法是基于聚焦测度(也可以说是变焦法)的重构方法，需要计算聚焦堆栈的每幅图像的聚焦测度。

发明内容

本发明的目的在于提供一种基于特征点追踪由聚焦堆栈重构三维场景的方法和装置，本发明采用特征点追踪为由聚焦堆栈重构三维场景提供了有效手段，区别于多目视觉重构三维场景的方法，本发明提供的基于特征点追踪由聚焦堆栈重构三维场景的方法和装置，不再需要估计相机内参和外参，能够满足现有技术中对相机拍摄视场角(Field OfView，FOV)下三维场景重构的需求。

为实现上述目的，本发明提供一种基于特征点追踪由聚焦堆栈重构三维场景的方法，所述方法包括：建立由三维场景生成聚焦堆栈的正演模型，得到三维场景特征点与聚焦堆栈的关系；从所述聚焦堆栈中提取每个图像的特征点，根据三维场景生成聚焦堆栈的正演模型追踪所述聚焦堆栈中匹配成功的特征点的坐标；建立匹配成功的特征点的三维坐标和三维场景的方程组，求解方程组得到匹配成功的特征点的三维坐标，重构三维场景。

进一步地，所述建立的正演模型为：

所述三维场景特征点与聚焦堆栈的关系为：

其中，为三维场景生成聚焦堆栈的正演模型，(S_x，S_y)为场景的物面，f(S_x，S_y)是(S_x，S_y)对应的辐照度，(x，y)为第n次成像面，depth(S_x，S_y)为三维场景的深度图，d′_n为聚焦堆栈的第n次成像镜头到探测器的距离，d′₁为聚焦堆栈的第1次成像镜头到探测器的距离，为(S_x，S_y)在成像面(x，y)扩张函数。

进一步地，所述建立匹配成功的特征点的三维坐标和三维场景的方程组，求解方程组得到匹配成功的特征点的三维坐标，具体包括：建立匹配成功的特征点横坐标和三维场景的深度图的方程组，通过求解最小二乘问题，得到匹配成功的特征点横坐标；建立匹配成功的特征点纵坐标和三维场景的深度图的方程组，通过求解最小二乘问题，得到匹配成功的特征点纵坐标。

进一步地，所述特征点横坐标和三维场景的深度图的方程组：