[发明专利]一种应用于双目内窥镜医学图像的实时三维重建方法

摘要

本发明涉及一种应用于双目内窥镜医学图像的实时三维重建方法，该方法首先通过超像素分割，将颜色复杂区域分割，不同区域的边界构成器官的三维骨架。然后依据外极线约束原则，对左面视角拍到的轮廓信息，依次寻找右视角上对应的极线。为了获得精准的匹配点对，与ORB特征描述算子结合，快速准确定位相机中对应区域交点的位置，通过对应位置关系计算边界骨架的三维数据。最后在分割后的子区域内部采用SFS方法获得坐标相对关系，结合不同颜色梯度差别，推算出各个区域之间的三维坐标信息，获得场景内器官全部三维形貌坐标。本发明解决了内窥镜高精度三维重建的难题，与现有三维重建方法相比操作简单，可靠性高，手术风险低，减轻了病人的痛苦。

主权项

1.本发明设计了一种应用于双目内窥镜医学图像的实时三维重建方法，其特征是，包含步骤如下：步骤1：对双目相机进行标定，设左相机A所在的坐标系为O_aX_aY_aZ_a，设右相机B所在的坐标系为O_bX_bY_bZ_b，两个相机之间的旋转矩阵为R，平移矩阵为T，标定的公式如公式(1)所示，r₁₁‑r₃₃为所述的右相机B相对于所述的左相机A的旋转矩阵分量，t_x，t_y，t_z为所述的右相机B相对于所述的左相机A的平移矩阵分量；步骤2：将双目内窥镜的探测镜头伸入病人体内，以获取器官表面图像，并将内窥镜采集的器官表面图像采用中值滤波法进行去噪和图像平滑处理，保护图像的细节信息；步骤3：利用SLIC(Simple Linear Iterative Clustering)超像素分割方法分割步骤2得到的器官表面图像，首先通过相邻像素的颜色、亮度、纹理特征，将器官表面图像细分为多个子区域，再将各子区域图像从RGB颜色空间转换到CIE‑Lab颜色空间，按照超像素个数，在图像内均匀分配种子点，在种子点的邻域范围内利用三维的颜色信息以及二维的空间位置信息，计算每个搜索到的像素点到该种子点的距离，来对像素点进行聚类，并通过超像素分割区域的目标数量，控制分割区域的大小，最后进行迭代优化及增强连通性，得到分割后的器官表面图像，距离计算如公式(2)所示，d_c代表颜色距离，d_s代表空间距离，N_s代表类内最大空间距离，N_c代表最大的颜色距离；步骤4：将步骤3分割后的器官表面图像，根据外极限匹配原则，在左相机采集到分割后的器官表面图像分割边界选取点，在右相机采集到分割后的器官表面图像上确定极线以及极线与分割边界交点，获得精准的左右匹配点对，再与ORB(Oriented FAST and Rotated BRIEF)特征描述算子结合，定位左右相机中对应区域交点的位置，选取交点中匹配度最高的点为匹配点，设左相机选取点的斜率为k_a，则相对的匹配点的斜率k_b可由公式(3)获得，k_a为左相机采集到的图像骨架中某一点P的斜率，k_b为右相机采集到的图像骨架中与所述的P点对应点的斜率，重复执行此步骤，可以获得全部骨架所在位置的三维坐标，构成边界骨架三维坐标，记录每个子区域边界的三维坐标信息；步骤5：在步骤4所得到的每一个超像素分割后子区域的内部，首先利用SFS(Shape From Shading)进行三维重建，选取线性法三维建模，利用有限差值法对表面梯度p和q进行离散逼近，然后在高度Z(x，y)方向上根据公式(4)进行线性化处理，最后获取局部点的坐标变化关系；公式(4)中：步骤6：将步骤5所获得的坐标变化关系与步骤4所得到的边界骨架坐标信息进行融合，计算器官表面全局三维坐标；运算完毕。