[发明专利]一种基于三维重建的内镜检查覆盖率评估方法及系统

说明书

本发明涉及图像处理技术领域，具体为一种基于三维重建的内镜检查覆盖率评估方法、系统、储存介质及计算机设备，包括以下步骤：S01，筛选信息帧图像：将检查图像输入到已训练好的分类神经网络中，进行信息帧筛选，筛选结果符合要求则进入S02，否则预警；S02，结肠镜深度预测：将步骤S01筛选出的信息帧输入到已训练好的深度预测神经网络中，获取深度图D；S03，结肠镜位姿估计：将步骤S02输出的RGB‑D数据输入到已训练好的位姿估计网络中，输出得到内镜的位姿P；S04，重建结肠三维模型；S05，计算覆盖率，根据检查过程中的内镜图像重建出肠道的三维模型，并计算覆盖率，当覆盖率小于90%时进行提示预警，避免发生漏诊现象发生，提高检查效率。

技术领域

本发明涉及图像处理技术领域，具体为一种基于三维重建的内镜检查覆盖率评估方法、系统、储存介质及计算机设备。

背景技术

结直肠癌作为全国发病率和致死率第五的癌症，是危害生命健康的主要癌症之一。结肠镜检查，是筛查结直肠癌的最常用的检查方式，通常是用结肠镜对结直肠的各个部位进行检查，在检查过程中由内镜医师控制电子内镜观察各个部位是否有息肉、肿瘤等病变，若发现异常可通过电子内镜操作进行活检。然而在实际操作过程中，由于结肠结构复杂，内镜医师的操作水平参差不齐，容易造成漏诊导致检查效果下降。漏诊的原因主要有以下两个方面，一是息肉出现在了视野中而医师未能检查出，这主要是由医生的疲劳或者经验不足造成的。另一方面是息肉未出现在视野中，这主要消化道的情况复杂，或者内镜医师的经验水平不足导致检查过程中存在盲区。

普遍认为一段合格的结肠镜检查过程，对结肠的检查覆盖率应该达到90%~95以上，但是目前没有有效的测量机制可以直观准确的反映这一指标。国内外内镜学会指出，将采用息肉检出率和退镜检查时间作为保证检查质量的标准，因为这两项指标的提高都依赖于检查中的无盲区检测。然而以上两项指标只能对检查过程中医师的操作进行主观的反馈。要在本质解决息肉可能未出现在视野内的问题，就需要对检查覆盖率量化并实时反馈。

发明内容

本发明的目的在于提供一种基于三维重建的内镜检查覆盖率评估方法、系统、储存介质及计算机设备，根据检查过程中的内镜图像重建出肠道的三维模型，并计算覆盖率，当覆盖率小于90%时进行提示预警，避免发生漏诊现象发生，提高检查效率。

为实现上述目的，本发明提供如下技术方案：

一种基于三维重建的内镜检查覆盖率评估方法，其特征在于，包括以下步骤：

S01，将检查图像输入到已训练好的分类神经网络中，进行信息帧筛选，筛选结果符合要求则进入S02，否则预警；

S02，将步骤S01筛选出的信息帧输入到已训练好的深度预测神经网络中，获取深度图D；

S03，将步骤S02输出的RGB-D数据输入到已训练好的位姿估计网络中，输出得到内镜的位姿P；

S04，将步骤S02和步骤S03获取的深度图D和位姿P及图像信息输入到三维重建算法中，重建出被检查部位的表面；

S05，根据步骤S04重建的三维模型，计算覆盖率。

进一步的，步骤S01中信息帧的判断算法为：将内镜采集的RGB图像转换到HSV颜色空间，并使用高斯滤波器去除噪声。

进一步的，步骤S02中的深度预测神经网络的训练方法采用有监督训练和无监督训练相结合，具体步骤为：

S021,利用真实的内镜图片进行无监督训练，保证网络能够学习到被检查部位图片的特征；

S022，冻结网络的浅层，利用具有真实深度的体模数据集进行有监督训练，保证网络深度预测准确率。