[发明专利]基于深度学习的纤支镜插管辅助决策系统

权利要求书

1.一种基于深度学习的纤支镜插管辅助决策系统，其特征在于，包括以下模块：

(1)影像录制拆分模块：对插管时纤支镜镜头拍摄的影像进行录制，并将视频影像拆分为图像帧；

(2)决策制定模块：制定决策指令集，将其作为插管时的操作指令；

(3)数据标注模块：对原始图像帧数据进行标注，如果图像中能看清支气管隆突位置，则标记为终点，否则，将操作指令作为图像决策的类别标签，对图像帧进行逐帧的标注，用于后续任务的分类；

(4)图像处理模块：替换原始图像黑色背景，并进行尺寸变换及大小裁剪，只保留图像中间有效部分，制作成数据集；

(5)数据集选取模块：从所述数据集中按比例随机取一部分作为训练集，其余作为验证集；

(6)特征提取模块：使用改进过的GoogleNet Inception V3卷积神经网络对训练样本进行特征提取，逐步得到高层特征图；

即在原GoogleNet Inception V3卷积神经网络的基础上，在网络构建时加入he_normal初始化方法，并根据采集到的图片大小，修改卷积尺寸，对训练样本进行特征提取，逐步得到高层特征图；并删去GoogleNet Inception V3原有的单一输出模块，将高层特征图经过不同的方法处理后分别输出；

(7)操作决策输出模块：将高层特征图分别变换后的结果送入朴素贝叶斯分类器与softmax激活函数进行计算，基于终点判断输出操作决策结果；

根据贝叶斯定理：

其中，P(Y)表示类变量Y的先验概率；P(X)表示特征属性集为X的证据概率；P(X|Y)为类条件概率；P(Y|X)表示Y的后验概率，由前三者计算得出；得到对于第i个输入样本其分到终点和非终点两类j＝{0,1}的概率为：

并以概率最大的类别为分类结果，对是否到达终点进行判断；

(8)模型训练模块：输入训练样本，设定损失函数loss，对操作指令决策模型和朴素贝叶斯分类器模型分别进行单独训练；

(9)模型验证模块：记录实验结果，重新对数据集进行随机划分，重复训练步骤，对网络模型进行交叉验证。

2.根据权利要求1所述的基于深度学习的纤支镜插管辅助决策系统，其特征在于，在所述影像录制拆分模块中，采用OLYMPUS A10-T2纤支镜进行视频采集，其输出帧率为50帧每秒，按照该帧率将视频拆分为图像帧。

3.根据权利要求1所述的基于深度学习的纤支镜插管辅助决策系统，其特征在于，所述决策指令包括逆时针旋转向上、逆时针旋转向下、顺时针旋转向上、顺时针旋转向下、后退这五类非终点的操作指令以及表示到达终点的终止决策指令。

4.根据权利要求1所述的基于深度学习的纤支镜插管辅助决策系统，其特征在于，在所述图像处理模块中：替换原始图像黑色背景即是用合成的高斯噪声背景替换原图相中的黑色无效区域。

5.根据权利要求4所述的基于深度学习的纤支镜插管辅助决策系统，其特征在于，在所述图像处理模块中，尺寸变换具体为：将图像比例调整为720×540的大小，再将被压缩的圆形视野还原为正圆；大小裁剪具体为：去掉对决策无效且冗余的高斯噪声背景边缘区域，只保留与图像中圆形视野区域近似相外切的正方形部分，裁剪后得到的图片尺寸为461×461。

6.根据权利要求1所述的基于深度学习的纤支镜插管辅助决策系统，其特征在于，在所述数据集选取模块中，将每个插管视频得到的标注图片作为一个大样本，在随机选取样本时，按照大样本进行选取；设有M个大样本，采用设定比例随机抽样的方法，从M个大样本集中随即取出q％比例的大样本作为训练样本。

7.根据权利要求1所述的基于深度学习的纤支镜插管辅助决策系统，其特征在于，在所述模型训练模块中，所述损失函数loss采用交叉熵损失函数，用符号表示；根据制定的操作指令，包含5类对应有k＝{0,1,2,3,4}共5个标签值，记第i个样本预测为第k个标签值的概率为p_i,k＝Pr(t_i,k＝1)，一共有N个样本，则该数据集的损失函数对数形式为：