[发明专利]一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法

说明书

本发明涉及一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，以ResNeSt为主干网络建立注意力基础网络，在主干网络的瓶颈模块中加入基于病灶特征重要性的通道注意力模块，提取特征图的通道信息及衡量通道重要性的系数，设置加权函数，对特征设置对应的权重，得到用于识别图像病灶的最终的神经网络；获取训练胶囊内窥镜疾病分类的数据集对神经网络进行训练和测试；以测试后满足预设条件的神经网络用于胶囊内窥镜图像病灶识别。本发明通过对通道注意力中提取的特征赋予不同权重，更好地凸显病灶相关特征的重要性；根据衡量通道重要性的系数，动态调整加权系数，进一步提升网络性能；可以与任何前馈网络模型以端到端方式进行训练。

技术领域

本发明涉及图像分析，特别涉及一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法。

背景技术

小肠的长度通常超过4米，使用传统手持式胃肠镜检查无法实现小肠的完整检查，因此胶囊内窥镜成为消化道疾病尤其是小肠疾病诊断的有效方法。无线胶囊内窥镜(WCE)作为一种消化道疾病诊断工具，能够以无创伤、无痛的方式直接检查患者完整的胃肠道。

然而，当采用无线胶囊内窥镜时，自患者吞下胶囊药丸进行检查的8-12小时内，胶囊内窥镜会拍摄约50000帧视频图像，临床医生通常需要花费数小时才能将整个WCE视频检查完毕，并且在长时间疲劳检查的情况下容易出现误诊、漏诊的情况，因此，设计计算机辅助系统协助医生阅片具有非常大的意义。

近年来，神经网络注意力机制因其效果显著、计算简单，在胶囊内窥镜图像病灶识别中得到了广泛应用。然而，胃肠道内的病灶种类繁多、拍摄环境复杂，病灶特征在颜色、纹理等方面的表现可能与正常组织存在较高的相似性进而难以被识别。例如胃肠道中存在的糜烂、红斑等病灶，在某些情况下与周围正常组织十分相似，导致一般神经网络难以识别。

发明内容

本发明解决了现有技术中存在的问题，提供了一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，通过强调病灶相关特征实现更好的病灶识别能力，利用特征图的通道信息及衡量通道重要性的系数，提出基于该系数的加权函数，通过赋予相应通道不同的权重来凸显病灶相关特征的重要性。

本发明所采用的技术方案是，一种基于病灶特征重要性的胶囊内窥镜图像病灶识别方法，所述方法以ResNeSt为主干网络建立注意力基础网络，在主干网络的瓶颈模块中加入基于病灶特征重要性的通道注意力模块，提取特征图的通道信息及衡量通道重要性的系数，基于此系数设置加权函数，对特征设置对应的权重，得到用于识别图像病灶的最终的神经网络；

获取用于训练胶囊内窥镜疾病分类的数据集，对所述神经网络进行训练和测试；

以测试后满足预设条件的神经网络用于胶囊内窥镜图像病灶识。

优选地，建立所述注意力基础网络时，以ResNeSt作为主干网络，在ResNeSt基础上加入基于病灶特征重要性的通道注意力，其中，x_i∈R^3×H×W表示输入图像三个通道像素值构成的特征向量，H、W分别为特征图的高度和宽度，带标签的样本i表示为(x_i,y_i)，以y_i为样本类别标签，其值为0表示有病灶，其值为1表示无病灶。

优选地，通过瓶颈模块提取输入图像的高维特征；

所述瓶颈模块通过至少两个卷积核对输入图像进行卷积，得到至少两个分支，通过元素求和对所有的分支的输出进行融合，得到融合结果；

所述融合结果通过全局平均池化层处理，生成通道统计信息，再通过两个全连接层和Softmax函数，得到通道权重；

将通道与所述通道权重融合，得到融合后的cardinal组；

各个所述融合后的cardinal组沿通道方向串联，得到结果T，令输入瓶颈模块的特征为快捷链接Q，Q与T按元素相加输出，提取高维特征F。