[发明专利]一种基于深度学习和图像增强的NBI图像处理方法及其应用

权利要求书

1.一种基于深度学习和图像增强的NBI图像处理方法，其特征在于，包括如下步骤：

步骤S1，收集大量NBI胃早癌或者非癌放大图像；

步骤S2，由专业医师标注图像中的白区和血管，使背景及结构复杂的原始NBI图像转变为特征清晰的简笔画图像，得到标注图像；

步骤S3，将原始NBI图像和标注图像输入深度卷积神经网络模型进行训练，所述深度卷积神经网络模型用于不断计算原始图像和标注图像之间突出的信息特征，包括纹理差异L_texture、内容差异L_content、颜色差异L_color和总体差异L_tv，并基于上述差异加权得到总的损失函数值，完成原始NBI图像到标注图像的映射关系；

步骤S3的具体实现方式如下，

步骤S31，对于纹理差异L_texture，训练一个单独的对抗性CNN识别器，L_texture计算公式如下：

其中，I_S是原始NBI图像，I_t是医师标注图像，i是I_S和I_t的对数，F_W、F_W(I_S)分别指图像增强函数和函数处理后的增强图像，D为识别器；

步骤S32，对于内容差异L_content，根据预先训练的VGG-19网络的ReLU层生成的激活图来定义；

其中，C_jH_jW_j分别表示I_t和F_W(I_S)增强图像的数量、高度和宽度，ψ_j是经过j次卷积后的特征映射；

步骤S33，对于颜色差异L_color，使用高斯模糊方法计算医生标注图像和原始NBI图像的欧式距离，公式如下：

X_b、Y_b分别是X、Y(原始NBI图像的像素坐标)经过计算后在标注图像中对应的值，求解过程如下：

上式为高斯滤波模板，其中μ_x是X的均值，σ_x是X的方差，A是像素点的权重总和，求得的结果G(k,l)是k、l处的滤波模板值；

将原图像k、l及周围像素点与滤波模板值相乘可以获得X_b的高斯模糊值；同理得到Y_b，代入式3得到L_color；

步骤S34，通过计算总变异损失函数来增强图像的空间平滑性，公式如下：

步骤S35，最后将颜色差异、纹理差异、内容差异和总体差异结合，得到总的损失函数值，

L_total＝L_cont_ent+0.4·L_texture+0.1·L_color+400·L_tv (7)

其中，CHW表示F_W(I_S)增强图像的数量、高度和宽度，为对X、Y求微分的哈密顿算符；

步骤S4，基于上述映射关系得到待处理图像的目标图像，将每个像素点映射成由数字组成的一维数组，

步骤S5，通过调整目标图像的RGB颜色空间，使数组中不同数字显示深浅不一的不同颜色，得到血管和表面结构增强、且隐去其余背景的胃粘膜图像。

2.如权利要求1所述的一种基于深度学习和图像增强的NBI图像处理方法，其特征在于：步骤S4中的映射方式为，基于PythonPIL包中Image方法实现rgb通道分离，再通过reshape方法使图像转换成由数字组成的一维数组。

3.一种基于深度学习和图像增强的NBI图像在早期胃癌诊断中的应用，其特征在于：所述NBI图像通过权利要求1或2所述方法得到。