[发明专利]一种双目内窥镜软组织图像的在线三维重建方法

权利要求书

1.一种双目内窥镜软组织图像的在线三维重建方法，其特征在于，包括以下步骤：

(1)、双目内窥镜标定；

对双目内窥镜的两个相机进行各自标定，以及两相机之间进行立体标定，从而获得两个相机的内部参数矩阵及两相机之间的外部参数矩阵；

(2)、图像采集及预处理；

利用双目内窥镜对目标软组织进行图像采集，然后将左右两个相机采集的同一帧图像标记为图像对，再对图像对进行调整，使图像对共面行对准，即左右图像之间仅包括水平视差，没有垂直视差；

(3)、训练深度神经网络模型

(3.1)、设置深度神经网络模型的最大训练次数N；设置数据集D，用于存储一轮训练需要的K组图像对；设置损失函数阈值T；初始化深度神经网络模型；

(3.2)、按照步骤(2)所述方法获取K组图像对，并存储在数据集D；

(3.3)、从数据集D中选出一帧图像对开始输入至深度神经网络模型，通过深度神经网络模型计算出左右图像的视差图；

(3.4)、对左图像的每个像素点按视差图对应位置的像素值作为平移量进行平移，重建出右图像；

(3.5)、构建深度神经网络模型的损失函数l；

(3.5.1)、根据重建的右图像与右相机采集的右图像，构建重建损失函数l_r；

其中I(i,j)表示右相机采集的右图像中坐标为(i,j)的像素点的像素值，I'(i,j)表示重建的右图像中坐标为(i,j)的像素点的像素值；

(3.5.2)、对视差图施加一个平滑约束，构成平滑损失函数l_s；

其中E_x(i,j)表示视差图沿x方向上的梯度图像中坐标为(i,j)的像素点的像素值，E_y(i,j)表示视差图沿y方向上的梯度图像中坐标为(i,j)的像素点的像素值；

(3.5.3)、重建损失函数和平滑损失函数构成模型损失函数l；

l＝α_rl_r+α_sl_s

(3.6)、设置步长P；以模型损失函数值最小为优化目标，利用随机梯度下降法计算模型损失函数的负梯度方向，再将负梯度方向与步长P的乘积作为深度神经网络模型的权重更新量，然后通过反向传播算法更新整个模型权重，从而更新深度神经网络模型；

(3.7)、重复步骤(3.3)-(3.6)，利用数据集D中后K-1帧图像对继续训练深度神经网络模型，完成本轮训练；

(3.8)、本轮训练完成后，判断当前本轮训练次数是否到达最大训练次数N，或本轮训练完成后模型损失函数值是否小于阈值T，如果满足，则训练停止并清空数据集D，再进入步骤(4)；否则，将当前训练次数增加1，然后返回至步骤(3.3)，再次利用数据集D进行下一轮的训练；

(4)、计算K帧之后的图像对的视差图并进行在线重建

(4.1)、将第K+1帧左右图像按照步骤(2)的方法处理成图像对，将当前帧图像对输入至训练后的深度神经网络模型，计算出当前帧图像对的视差图，同时保存第K+1帧图像对保存至数据集D；

(4.2)、计算视差图中某像素点的深度d；

其中，e为该像素点的像素值，b为基线距离，f为相机焦距；

(4.3)、图像的在线重建

根据每个像素点的深度d恢复出对应像素点的三维坐标，再根据每个像素点的三维坐标重建出三维图像；

(4.4)、判断数据集D中的图像对数量是否达到K组，如果未达到，则按照步骤(4.1)-(4.3)所述方法进行下一帧的处理；如果达到，则利用数据集D中的K组图像对按照步骤(3.3)-(3.8)的方法更新深度神经网络模型。