[发明专利]用于智能泵腔体内窥镜图像的单目深度估计系统及方法

说明书

本发明涉及内窥镜探测技术领域，具体地说，是一种用于智能泵腔体内窥镜图像的单目深度估计系统及方法，本发明使用了transformers系列作为自监督单目深度估计系统的骨干网络；对于深度编码器，使用了swin_transformer作为骨干网络；对于位姿提取器，使用了vision_transformer作为骨干网络，本发明使用transformers系列里不同的以transformer为框架的网络作为自监督单目深度估计系统的骨干网络可以有效提高单目图片的深度估计的准确性。

技术领域

本发明涉及内窥镜探测技术领域，具体地说，是一种用于智能泵腔体内窥镜图像的单目深度估计系统及方法。

背景技术

在人工智能高速发展的时代，智能泵已经广泛应用于工业、农业生产以及能源、石化、航空、钢铁、军工等重要领域，在国民经济发展中有着十分重要的作用。而作为一个制造业大国，我国的智能泵制造技术仍存在诸多问题，如研发资金投入不足、自主创新能力薄弱、基础配套元器件薄弱等造成的智能泵故障问题，而对于智能泵出现的开裂、腐蚀、生锈等泵腔内部故障缺陷，通过人眼观察往往难以诊断，因此导致智能泵的使用寿命短，制造技术发展滞后，难以实现技术创新。内窥镜是集成了传统光学、人体工程学、精密机械、现代电子、软件于一体的，具有图像传感器、光学照明、机械装置的检测仪器，其功能是对弯曲的管道内部进行探查，观察到人眼不能直视的部位。工业中常用内窥镜进行无损检测，无需拆卸被检测体，直接观察到物体内部的表面情况，如裂纹、焊缝、生锈等，并且在检测的同时，对整个检测过程进行动态的录影或者拍照记录，以便于对故障诊断并进行后续的定量分析。

深度估计的概念是指利用摄像机捕捉到的二维信息来保存场景的三维信息的过程。单目解决方案往往只使用一张图像来实现这一目标。这些方法的目的是从一个视点估计场景物体和相机之间的距离。在深度学习中，要实现的是图像中的像素点到实际深度值的一个映射关系。

深度估计方向根据预测时需要的视图数量，大体上分为双目深度估计和单目深度估计两类。双目深度估计(或者叫做多视图深度估计)，是通过立体匹配算法或者运动恢复结构来推算图像的深度。目前双目深度估计大都能得到较好的结果，但是缺点也很明显，就是成本太高：不仅仅是对于设备的要求较高，而且在数据处理方面流程也相对繁琐。为了解决这些问题，需要单目深度估计。单目深度估计在方法上也分为两种：有监督的单目深度估计和自监督的单目深度估计。

随着深度神经网络，尤其是在近十年的快速发展，使得单目深度的自监督算法在深度学习上的部署成为可能。

现有的自监督的单目深度估计方法还存在如下缺陷：

第一、自监督的单目深度估计估计方法整体上的精度不高，很难达到实用的效果，而智能泵腔体内窥镜的探测所需要的精度需求较高。

第二、在进行其中的位姿估计的过程中，由于所用网络的方法限制，往往不能很好地捕捉到位姿的变化特征，尤其是对于智能泵腔体内窥镜图像，区别于传统的摄像机位姿。

发明内容

为了解决上述技术问题，本发明的目的是提供用于智能泵腔体内窥镜图像的单目深度估计系统及方法，该方法使用了最近在图像处理的各种任务(包括图像分类、图像分割等)大放异彩的transformers系列作为自监督单目深度估计系统的骨干网络。相较于之前以卷积神经网络为骨干网络的框架，transformer在对图像进行特称提取时，由于自注意力模块的特性，所以每一个阶段的特征提取都具有全局的视野域。对于深度编码器，使用了swin_transformer作为骨干网络。swin_transformer在提取图像特征时加入了滑动窗口，所以，在位置先验和多尺度的角度上对于密集预测任务有不输于卷积神经网络的性能。对于位姿提取器，使用了vision_transformer作为骨干网络。Vision_transformer在提取图像特征之前加入了位置信息，这样就可以对图像对相应的位置做上标记，以更好地得到位姿变化的信息，且位姿的变化对与尺度的要求不高，故不需要滑动窗口来提取不同尺度上的信息。