[发明专利]一种消化性溃疡部位分类方法、装置及可读存储介质

说明书

本发明涉及一种消化性溃疡部位分类方法、装置及可读存储介质，属于图像分类技术领域。该方法包括：利用ResNet网络和ViT模型提取消化性溃疡图片的第一特征向量和第二特征向量；对第一特征向量和第二特征向量进行至少两次池化，得到第一目标特征向量组和第二目标特征向量组；将第一目标特征向量组和第二目标特征向量组融合得到消化性溃疡图片特征向量；将消化性溃疡图片特征向量输入至全连接层进行分类，得到消化性溃疡部位分类结果。本方法利用ResNet网络和ViT模型提取消化性溃疡图片特征，并对提取的特征向量进行多次池化，融合了消化性溃疡图片的局部特征和全局特征，使得特征信息更全面，提高了消化性溃疡部位分类准确率。

技术领域

本发明涉及图像分类技术领域，尤其是指一种消化性溃疡部位分类方法、装置及计算机可读存储介质。

背景技术

消化性溃疡包括发生在胃内的胃溃疡和发生在小肠上部（十二指肠）内壁的十二指肠溃疡。其最常见的症状是胃部灼烧疼痛，其他常见的症状还包括打嗝、呕吐、不明原因的体重减轻或是胃口不佳，若不及时处理可能会演变成内出血、消化道穿孔、梗阻甚至胃癌。消化性溃疡的盛行率大约为4%，大约有10%的人得过消化性溃疡，1990年消化性溃疡曾造成全世界327000人死亡，2013年时死亡人数降低，有301000人因消化性溃疡死亡。医生通过内窥镜图片分析判断消化性溃疡发生在胃内还是十二指肠部会耗费医生的时间和精力。随着人工智能的发展，基于人工智能技术的消化性溃疡部位分类方法可以辅助医生更高效更快速地定位溃疡部位并作出初步诊断。在人工智能领域，基于单图片的分类方法通常被用于定位消化性溃疡的发生部位。这种人工智能方法是使用计算机视觉和机器学习算法从单个图片中提取图像特征并进行分类的过程。

目前使用最为广泛的基于人工智能地消化性溃疡部位分类方法是输入一张图片，采用一种常规的分类算法，输出消化性溃疡的发生部位是胃部还是十二指肠。其具体包括以下几个步骤：1）专业人员标注大量带有溃疡部位标签的消化性溃疡图片样本，每个样本都注明了溃疡发生在胃部还是十二指肠部；2）基于深度学习网络（一般是多层卷积神经网络）训练标注样本，获得分类模型；3）使用该分类模型对未知标签的消化性溃疡图片进行预测，获得图片中溃疡部位的分类结果。其中，深度学习网络一般是采用卷积神经网络，包含Encoder层和FC层。Encoder层负责提取图像特征，一般由一系列卷积层、激活层、池化层、自注意力层等组成，常用的Encoder层包括Transformer、VGG、Residual Net、Efficient Net等。FC层负责将获取的图像特征映射到图片的类别。输入一张图像，通过模型中一些列的卷积层、激活层、池化层、自注意力层等对图像进行编码，获得图像的特征，最后通过全连接实现图像的分类。而现有技术中基于CNN或者Vision Transformer的消化性溃疡部位分类模型从溃疡图片中提取的特征往往是局部的，并没有提取图片样本的全局特征，从而导致消化性溃疡部位分类模型的准确率较低。

综上所述，现有的消化性溃疡部位分类方法存在特征提取不全面，从而导致分类准确率低的问题。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中特征提取不全面，从而导致识别准确率低的问题。

为解决上述技术问题，本发明提供了一种消化性溃疡部位分类方法，包括：

获取训练集中的消化性溃疡图片；

将所述消化性溃疡图片输入至ResNet特征提取网络中，得到第一特征向量，对所述第一特征向量进行至少两次池化，并基于每次池化后的目标特征向量得到第一目标特征向量组；

将所述消化性溃疡图片输入至Vision Transformer模型中，得到第二特征向量，对所述第二特征向量进行至少两次池化，并基于每次池化后的目标特征向量得到第二目标特征向量组；

分别对所述第一目标特征向量组与所述第二目标特征向量组中的目标特征向量分配相应权重后组合得到消化性溃疡图片特征向量；其中，相同池化次序得到的目标特征向量的权重和为1；