[发明专利]基于深度学习的纤支镜插管辅助决策系统

说明书

本发明公开了一种基于深度学习的纤支镜插管辅助决策方法，包括：采集插管视频并将视频拆分为图像帧；制定决策指令集；将操作指令作为图像决策的类别标签，对图像帧进行逐帧的标注；处理原始图像，制作数据集；提取训练集和验证集；对训练样本进行特征提取，逐步得到高层特征图；将特征图分别变换后的结果送入朴素贝叶斯分类器与softmax激活函数进行计算；输入训练样本，设定损失函数loss，对操作指令决策模型和朴素贝叶斯分类器模型分别进行单独训练；重复训练步骤，对网络模型进行交叉验证。本发明采用端到端的方法，由输入图像直接得到决策结果，大大降低了算法成本，决策速度快，具有很高的实时性。

技术领域

本发明属于深度学习及图像处理领域，具体涉及一种基于深度学习的纤支镜插管辅助决策系统。

背景技术

在需要全身麻醉的部分手术前，为了保证患者安全，避免患者由于失去意识或者气管阻塞等原因而窒息，需要对患者进行气管插管，为患者肺部提供氧气供给。而目前最为广泛使用的方法是利用纤支镜外套输气管的方法对患者进行气管插管。纤支镜是一种软管状医疗器械，其头部有一个镜头，通过后端握柄上的推杆实现垂直于前端镜头所在的视野平面方向的上下弯曲；同时，通过操作医生手腕的扭动或是自身的位移，纤支镜镜头还可以实现平行于视野平面的转动，并且纤支镜本身在视野平面的法向量方向拥有前进后退的平动自由度。

在实际插管操作时，医生先将纤支镜头部放入患者口腔内，然后根据前端镜头拍摄到的画面，识别当前所在位置，并判断纤支镜前进方向，调整纤支镜头部位置，沿气管向体内进一步深入，到达支气管时停止。而现阶段我国存在麻醉医生数量不足，存在麻醉医生同患者比例严重失衡以及麻醉医生过劳工作的现状。另一方面由于过长的工作时间以及插管工作对丰富工作经验的需要，麻醉医生在气管插管的过程难免会有误操作的发生抑或是插管太久导致患者通气不足，急需一种辅助方法帮助麻醉医师进行插管。

目前，所有的插管操作都由麻醉医师手动执行，而这样复杂的操作过程需要医师有丰富的医学知识和临床经验。由于患者个体情况的差异，体内气管环境也不相同，某些生理或病理的情况会导致人工插管难以进行。总结来说，现有人工插管时包含两个难点，一是对纤支镜镜头拍摄的画面的识别以及对镜头移动方向的判断；二是根据画面进行的繁琐的镜头控制操作。

近年来，深度卷积网络在图像识别和处理方面展现出巨大的优势，可通过深度卷积网络帮助医师对画面进行识别，并提示与之对应的控制操作；如何让计算机理解画面的内容和医师的决策，让计算机拥有医师判断的能力等是需要解决的难题。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的纤支镜插管辅助决策系统，以纤支镜镜头拍摄的视频分割后得到的标注过的图片为输入，通过深度学习算法对决策模型进行训练，从而使决策系统能够对对新输入的图片进行识别和操作决策，实现辅助医师插管的目的。

为解决上述技术问题，本发明采用额技术方案是：

一种基于深度学习的纤支镜插管辅助决策系统，包括以下步骤：

(1)影像录制拆分模块：对插管时纤支镜镜头拍摄的影像进行录制，并将视频影像拆分为图像帧；

(2)决策制定模块：制定决策指令集，将其作为插管时的操作指令；

(3)数据标注模块：对原始图像帧数据进行标注，如果图像中能看清支气管隆突位置，则标记为终点，否则，将操作指令作为图像决策的类别标签，对图像帧进行逐帧的标注，用于后续任务的分类；

(4)图像处理模块：替换原始图像黑色背景，并进行尺寸变换及大小裁剪，只保留图像中间有效部分，制作成数据集；

数据集选取模块：从所述数据集中按比例随机取一部分作为训练集，其余作为验证集；

(6)特征提取模块：使用改进过的GoogleNet Inception V3卷积神经网络对训练样本进行特征提取，逐步得到高层特征图；