[发明专利]用于智能泵腔体内窥镜图像的单目深度估计系统及方法

权利要求书

1.一种用于智能泵腔体内窥镜图像的单目深度估计系统，其特征在于，该系统由深度编码器、深度解码器和位姿提取器组成；所述深度编码器包括一个patch partition层和4个stage，其中，stage1由一个linear embedding和两个swin_transformer block组成，stage2和stage3内部结构相同都由一个patch merging和两个swin_transformer block组成，stage4由一个patch merging和六个swin_transformer block组成；所述位姿提取器以vision_transformer作为骨干网络，Vision_transformer的结构包括一个LinearProjection of Fattened Patches和一个Transformer Encoder，其中，TransformerEncoder的默认深度为6。

2.一种用于智能泵腔体内窥镜图像的单目深度估计的方法，其特征在于，使用如权利要求1所述的用于智能泵腔体内窥镜图像的单目深度估计系统，具体包括以下步骤：

步骤1：构建适合训练的数据集，即对图像进行预处理；

步骤2：预处理后的图像送入自监督的单目深度估计框架进行运算；

步骤3：得到预测的相应深度图。

3.根据权利要求2所述的用于智能泵腔体内窥镜图像的单目深度估计的方法，其特征在于，所述步骤2中对预处理后的图像进行自监督的单目深度估计运算的过程包括：

步骤2.1：将预处理的图像的当前帧送入深度编码器模块；

步骤2.2：将深度编码器得到的特征送入深度编码器，得到预测的深度图；

步骤2.3：将预处理的图像的当前帧与后一帧作为图像对，送入位姿提取器，得到一组向量：旋转向量和平移向量；

步骤2.4：根据步骤2.2所得的深度图和步骤2.3所得的位姿向量和原前后帧图像得到重建的前后帧图像，并由此算出损失Loss值，进行后向传播更新网络参数。

4.根据权利要求3所述的用于智能泵腔体内窥镜图像的单目深度估计的方法，其特征在于，所述步骤2.4中用来约束的损失函数由重投影损失和光滑损失两部分构成。

5.根据权利要求4所述的用于智能泵腔体内窥镜图像的单目深度估计的方法，其特征在于，重投影损失Lp的取值为光度误差函数Pe在t-1时刻投影到t时刻的最小值，如公式(1)所示，其中光度误差函数Pe如公式(2)所示，SSIM用来衡量两张图片的相似性，包括结构相似性和灰度值相似性，计算方式如公式(3)所示：

L_p＝min_t-1Pe(I_t,I_t-1) (1)

SSIM(I_a,I_b)＝[l(I_a,I_b)]^α[c(I_a,I_b)]^β[s(I_a,I_b)]^γ (3)

光滑损失L_s如公式(4)所示，其中的d如公式(5)所示，光滑损失L_s为系统网络的正则项，防止系统参数过拟合，

实际总损失L如公式(6)所示，其中r为0.001，u的计算公式如公式(7)所示，u的效果是充当掩模，来判断重投影是否小于原光度误差，若小于，则u为1，反之，为0：

L＝μL_p+γL_s (6)

μ＝[min_t-1Pe(I_t,I_t-1→t)＜min_t-1Pe(I_t,I_t-1)] (7)。