[发明专利]基于扫描电子显微镜的图像序列三维重构方法及系统

说明书

本发明公开了一种基于扫描电子显微镜的图像序列三维重构方法及系统，该方法的步骤为：对扫描电子显微镜和宏微平台进行标定后获得标定信息；获取图像序列；对宏微平台位姿信息的特征点进行检测与匹配；剔除图像特征点匹配中的误匹配点，得到剔除误匹配点后的图像特征点匹配集；选取有效匹配点对最多的两张图像进行初始化；添加新图像进行图像配准；采用光束法平差对宏微平台运动轨迹进行全局优化，对扫描电子显微镜标定参数和三维点坐标进行优化，得到稀疏点云模型；对稀疏点云模型采用MVS算法进行稠密重构，获得空间目标密集的三维点云模型。本发明能获取不同视角的清晰微观图像序列，减小图像匹配的计算量，提高了三维重构的速度和鲁棒性。

技术领域

本发明涉及微纳视觉技术领域，具体涉及一种基于扫描电子显微镜的图像序列三维重构方法及系统。

背景技术

扫描电子显微镜(Scanning Electronic Microscopy，SEM)为微纳领域中主要的观测手段，目前，市场上的SEM只能进行二维成像，缺少深度信息，然而，在许多研究领域，尤其是生物和材料科学领域，都需要研究对象的三维形貌信息以便更全面地理解研究对象。

现有技术中，通过额外安装几个背散射侦测器使用SFS(shape from shading)的方法来恢复物体的三维形貌，或者通过倾斜平台使用立体视觉的方法来实现三维重构，但是这只能重建物体的部分表面，缺乏纹理信息，或者在物体上喷金形成金的薄膜，能有效的提高重构的精度，但这并不适用于大量测量，并且容易破坏样品。

发明内容

为了克服现有技术存在的缺陷与不足，解决重构精度低、成本高、对样品造成破坏等问题，本发明提供一种基于扫描电子显微镜的图像序列三维重构方法及系统，在扫描电子显微镜下，仅通过一组目标物体的图像序列，由三维重构算法快速稳定的恢复出微观物体的三维结构，不用额外的传感装置，能自动快速获取图像序列同时恢复出样品的纹理等细节信息，基于宏微平台的标定信息自动移动宏微平台，获取不同视角的清晰微观图像序列，减小图像匹配的计算量，大大减小误匹配点数量，提高了三维重构算法的速度和鲁棒性。

为了达到上述目的，本发明采用以下技术方案：

本发明提供一种基于扫描电子显微镜的图像序列三维重构方法，包括下述步骤：

对扫描电子显微镜和宏微平台进行标定，获得标定信息；

获取基于扫描电子显微镜的图像序列；

对宏微平台位姿信息的特征点进行检测与匹配，得到图像特征点匹配集；

采用RANSAC剔除图像特征点匹配中的误匹配点，得到剔除误匹配点后的图像特征点匹配集；

选取有效匹配点对最多的两张图像进行初始化；

添加新图像进行图像配准；

采用光束法平差对宏微平台运动轨迹进行全局优化，采用最小化重投影误差对扫描电子显微镜标定参数和三维点坐标进行优化，得到稀疏点云模型；

对稀疏点云模型采用MVS算法进行稠密重构，获得空间目标密集的三维点云模型。

作为优选的技术方案，所述扫描电子显微镜和宏微平台进行标定，获得标定信息，具体步骤为：

标定板固定在宏微平台上，调整宏微平台，获取不同位姿的标定板图像，基于中心投影模型和标定板图像计算出扫描电子显微镜视觉传感的内参数矩阵，初始位置宏微平台的外参矩阵、旋转轴方向向量和旋转轴上任意一点的坐标。

作为优选的技术方案，所述获取基于扫描电子显微镜的图像序列，具体步骤为：

获取初始位置图像：将目标物体固定在宏微平台上，调整宏微平台位置直至图像清晰，获取第一张清晰的高分辨率微观图像，并设当前位姿为初始位姿；