[发明专利]一种消化内镜图像异常特征实时标记系统及方法

权利要求书

1.一种消化内镜图像异常特征实时标记系统，包括计算机系统，其特征在于，所述计算机系统包含：

图像获取模块，通过内窥镜图像系统实时获取输入的胃部常规白光内窥镜视频流，剔除其中无效帧，筛选有效关键帧；

图像预处理模块，用于对筛选出的关键帧进行图像增强处理；

模型训练模块，用于对早期胃部癌前疾病内窥镜图和病灶位置信息进行模型训练，得到检测模型；

异常检测模块，用于将经过图像预处理的图像序列输入到训练完成的检测模型之中，得到胃部异常特征的分类信息和定位信息；

标记显示模块，将定位信息在图片序列上做出标记，并将标记映射到原始的输入胃部常规白光内窥镜视频流中，并对所述该胃部内镜视频流进行实时显示。

2.根据权利要求1所述的消化内镜图像异常特征实时标记系统，其特征在于，所述的图像获取模块在筛选有效关键帧时利用K-means算法从数据对象中随机选择k个对象作为初始聚类中心，根据最小距离准则对数据对象进行分类，通过该聚类算法，把图像库中的图像分为k类。

3.根据权利要求1所述的消化内镜图像异常特征实时标记系统，其特征在于，所述图像预处理模块中图像增强处理包括：图像归一化、无效像素裁剪、图像平滑、图像锐化和图像缩放。

4.根据权利要求1所述的消化内镜图像异常特征实时标记系统，其特征在于，所述的模型训练模块包括：

图像数据集，用于存储基于消化内镜的分类数据集和检测数据集；分类数据集包含多种早期胃部癌前疾病内窥镜图，检测数据集包含病灶位置信息；

分类模型训练单元，用于对所述分类数据集进行深度学习CNN分类模型的训练；

检测模型训练单元，用于以CNN分类模型作为预训练模型，以所述检测数据集作为训练集，进行基于回归方法的深度学习CNN目标检测模型的训练。

5.根据权利要求4所述的消化内镜图像异常特征实时标记系统，其特征在于，所述图像数据集在用于训练CNN模型前，通过平移变换、镜像翻转或随机裁剪进行数据扩增。

6.根据权利要求4所述的消化内镜图像异常特征实时标记系统，其特征在于，所述分类模型训练单元在进行深度学习CNN分类模型训练时，引入强化学习的方法以提高网络分类的准确度，使用逐层尺度归一化层对网络正则化，采用Dropout方法缓解过拟合的问题，采用ReLU激活函数避免梯度消失问题，通过迁移学习方式对分类模型的训练效率进行提升。

7.根据权利要求4所述的消化内镜图像异常特征实时标记系统，其特征在于，所述模型训练模块训练后得到的检测模型包括分类模型、辅助网络结构和目标检测模型；所述分类模型基于VGG-16框架，用于得到分类信息；所述辅助网络结构用于提取图片特征；所述目标检测模型用于得到位置信息。

8.一种利用权利要求1-7任一项所述系统进行消化内镜图像异常特征实时标记的方法，其特征在于，包括以下步骤：

(1)将早期胃部癌前疾病内窥镜图和病灶位置信息输入模型训练模块进行训练，得到检测模型；

(2)利用内窥镜图像系统设备得到受检者胃部常规白光内窥镜视频流；

(3)将胃镜视频流解析后进行关键帧提取，剔除无效帧，筛选得到胃部内窥镜有效视频图像序列；

(4)将有效视频图像序列输入到图像预处理模块，进行图像预处理；

(5)将图像预处理后的图像序列输入到检测模型中，检测模型输出可疑胃部癌前疾病病灶目标定位坐标，同时输出定位坐标内可疑胃部癌前疾病分类结果和分类置信度；

(6)根据病灶定位坐标在有效图像序列上做上标记，同时将标记映射到原胃镜视频流中；

(7)经标记的胃镜视频流在显示器上实时显示以供医生观察确认诊断。