[发明专利]多模态预训练的胃部肿瘤分类系统

说明书

本发明涉及一种多模态预训练的胃部肿瘤分类系统，涉及医学图像处理技术领域，包括数据获取模块获取含有多图片和主诉文本的非肿瘤相关和肿瘤相关的胃镜病例分别作为未标注样本和有标注样本，预训练模块使用未标注样本对图片编码器、文本编码器进行对比学习预训练；多模态特征模块使用预训练后的编码器提取有标注样本的特征并融合得到多模态特征；训练模块使用有标注样本的特征训练预训练后的编码器，使用多模态特征训练分类器；预测模块得到待测病例的多模态特征并输入训练完成的分类器得到胃部肿瘤的分类结果。本发明可以提取多张图片和多条主诉文本的特征，有效利用相似疾病更准确地捕捉胃肿瘤相关的特征，为医生提供诊断参考。

技术领域

本发明涉及医学图像处理技术领域，尤其是指一种多模态预训练的胃部肿瘤分类系统。

背景技术

胃部肿瘤是消化系统常见疾病，可分为恶性和良性。恶性肿瘤包括胃癌、恶性淋巴瘤和恶性间质瘤等。以胃癌最为常见，其发生率在消化道恶性肿瘤中居首位。胃良性肿瘤，占胃肿瘤的2％，可分两大类：一类来源于黏膜的良性上皮细胞瘤，如胃腺瘤、腺瘤性息肉等。另一类是良性间叶组织肿瘤，如间质瘤、脂肪瘤和神经纤维瘤等。常见的症状是消化道出血，可有上腹隐痛、不适等表现。部分患者可扪及腹部肿块，位于幽门部较大的肿瘤，可引起梗阻。胃肿瘤很少出现症状,有的因肿瘤生长较大发生并发症或恶变后才发生症状,所以易被忽略。对胃肿瘤靠临床症状很难确诊。X光钡剂检查可见胃内有边缘整齐的圆形充盈缺损,肿瘤表现有溃疡时可见龛影。但是,X线钡剂检查并不能鉴别肿瘤的良恶性,尤其更不能发现肿瘤的早期恶变。因此胃镜的检查尤为重要。胃镜下可见息肉样脉瘤呈球形、单发或多发,有蒂或广基。若腺癌表面有结节、糜烂、溃疡或菜花样改变、色泽较周围粘膜苍白,广基且周围胃粘膜较肥厚者,则多为恶变。胃镜检查是早期发现良恶性肿瘤的关键手段，根据胃镜片特征能够很好的是否具有胃良、恶肿瘤疾病，但是通常需要医生具有较长的胃镜操作经验。基于人工智能技术的胃良、恶肿瘤胃图片分类方法可以辅助医生做出更准确的判断，同时可以降低医生漏掉可疑的早期胃肿瘤的概率。

在人工智能领域，基于单张图片分类的方法通常被用于鉴定胃部是否存在良、恶肿瘤疾病。这种人工智能方法是利用计算机视觉等深度学习方法从单个图片中提取视觉信息的过程。当前使用较为广泛的人工智能方法是将该问题建模为输入一张图像进入模型并输出一个标签的问题。在胃良、恶肿瘤疾病分类方面，标签为胃良性肿瘤和胃恶性肿瘤。

基于单张图片分类的方法通常分为以下几个步骤：第一步、专业人员收集大量带有胃良、恶性肿瘤标签的图片，每个图片作为一个样本，标注这些图片，获得带有标注的标注语料。第二步、基于深度学习网络(一般是多层卷积神经网络)使用标注好的语料训练，获得图片分类模型。深度学习网络一般采用的是当前流行的卷积神经网络。如图1所示，现有卷积模型通常包含图片编码器(ImageEncoder)层、全连接层。图片编码器层负责提取图像的特征，一般由一系列的卷积层、激活层、池化层、自注意力层等组成，常用的图片编码器层包括VGG、Res Net、Dense Net、Efficient Net等。全连接层负责将图像特征映射到图片的类别。输入一张图进入图片编码器层，通过图片编码器中一系列的卷积层、激活层、池化层、自注意力层等对图像进行编码，获得图片特征；最后通过全连接实现图片分类。第三步、使用图片分类模型对某个未知标签的图片进行测试，判断该图片为胃良、恶性肿瘤。测试过程中，每次输入分类模型的是单张图片，输出为单个标签。

但是，现有技术也存在缺点，包括：

(1)单张图片并不能处理一个病例有多张图片的情况，不能给出综合预测。胃镜诊断过程往往有多张图片构成一个患者的病例，需要从不同角度观察胃部疾病，通过单张图片很难判断，因而传统的基于单张图片分类的预测模型无法准确预测这种多图片的病例、性能差。

(2)当病例诊断过程存在主诉文本(病人向医生描述自己病情的内容)时，这些主诉文本具有丰富的疾病信息，但是现有技术却不能充分利用这些信息。在实际诊断的过程中，专业医生在判断某个病人是否具有胃良、恶肿瘤疾病的时候，往往会结合病人的多张胃镜图片和主诉文本进行判断，现有技术不能结合多个图片病例和主诉文本。