[发明专利]一种立体腹腔镜三维模型重建方法和装置

说明书

一种立体腹腔镜三维模型重建方法和装置。包括：左右相机采集物体的二维彩色图像，记录立体腹腔镜上光学跟踪工具的空间姿态信息；求得稀疏的关键特征点，以稀疏的关键特征点为种子点，遍历迭代得到密集点云并生成左右图像的视差图，将视差图反投影至相机坐标系统下的三维密集点云，再变换至光学定位系统的坐标空间中，得到三维密集点云信息,根据三维密集点云信息重建得到物体的表面模型。本申请利用从疏到密的策略，使得重建的三维点云和表面模型更加符合对象的真实拓扑结构，无需三维表面模型扫描设备即可重建出三维密集点云数据和面模型，充分利用现有光学定位系统，无需引入其他硬件设备，更加经济、直接。

技术领域

本申请涉及图像处理，尤其涉及一种立体腹腔镜三维模型重建方法和装置。

背景技术

在腹腔镜外科手术导航中，实时获取腹腔镜图像下器官表面的三维信息(三维点云或表面模型)是一个关键的步骤。该步骤的输出结果将用于与器官的术前表面模型进行配准，计算术中物理空间与术前图像空间之间的空间变换信息，是决定腹腔镜手术导航系统成功与否以及影响导航精度的重要过程。为获取更高精度的器官表面的三维点云信息或面模型，一种解决方案是借助手持式三维表面采集设备。但这种方案需要引入昂贵的采集硬件设备，而且对于腹腔镜外科手术导航的操作流程也会产生影响。所以通过现有导航设备，从立体腹腔镜所采集的左右图像重建三维表面信息的方法更加经济、直接。

现有的立体腹腔镜三维点云重建技术是计算机视觉中的经典方法的延伸或移植。首先通过双目相机的立体标定步骤获取双目相机的内外参数；然后采集左右相机的二维彩色图像；再通过立体匹配算法寻找左右图像的匹配特征点；最后将所匹配的特征点通过三角化、结合左右相机的内外参数反投影至相机的三维空间，获得最终的三维点云。

经典计算机视觉三维点云重建技术的一个关键步骤是匹配左右图像的关键特征点，这对于低纹理、重复纹理、透明、镜面反射的区域而言，难以匹配到关键特征点，在上述场景下所重建的三维点云极其稀疏，无法重建出对象的拓扑结构信息，特别是镜面反射(高亮)的情况，由于腹腔镜上有光源的存在以及器官表面的平滑特性，通常会在器官表面形成高亮区域，导致现有的三维点云重建方案难以得到密集点云信息；另一方面，腹腔镜成像区域有限，在某个立体腹腔镜的姿态下，只能对对象的局部表面区域重建三维点云，较难满足实际的使用需求。

发明内容

本申请提供一种立体腹腔镜三维模型重建方法和装置。

根据本申请的第一方面，本申请提供一种立体腹腔镜三维模型重建方法，包括：

左右相机采集物体的二维彩色图像，同时记录立体腹腔镜上光学跟踪工具的空间姿态信息；

基于所述二维彩色图像求得稀疏的关键特征点，以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云；

根据所述密集点云生成左右图像的视差图；

根据所述当前姿态信息和手眼校准变换矩阵将所述视差图反投影至相机坐标系统下的三维密集点云，再将所述三维密集点云变换至光学定位系统的坐标空间中，得到三维密集点云信息；

根据所述三维密集点云信息重建得到物体的表面模型。

上述方法，所述以所述稀疏的关键特征点为种子点，遍历迭代得到密集点云，具体包括：

以所述稀疏的关键特征点为种子点，设置一个固定尺寸的邻域搜索空间；

计算每个种子点在所述邻域搜索空间内的测度是否满足预设的阈值，如果是，则把该邻域内的点加入匹配关键点的队列，否则，迭代计算下一个种子点。

上述方法，所述根据所述当前姿态信息和手眼校准变换矩阵将所述视差图反投影至相机坐标系统下的三维点云，再将该所述三维密集点云变换至光学定位系统的坐标空间中，具体通过以下公式实现：