[发明专利]基于超声和红外多模态图像的甲状腺结节图像分类方法

说明书

本发明公开了一种基于超声和红外热图多模态图像的甲状腺结节图像分类方法。本发明基于超声和红外热图像，结合多模态学习方法，提供了一个自适应多模态混合模型，该模型由模态内混合编码器，自适应跨模态编码器，分类头三部分组成。模态内混合编码器在提取局部特征的同时能够对全局特征进行建模；自适应跨模态编码器能够根据不同的案例制定个性化的模态权重，同时进行模态间特征的信息交互与融合；分类头对得到的融合特征进行分类。该方法基于受检者的超声和红外热图像，使用AmmH模型自动对受检者甲状腺结节图像进行分类，为医生提供客观、准确的分类结果，以实现辅助诊断。

技术领域

本发明涉及深度学习与医学交叉领域中甲状腺结节的自动筛查、分析与分类，具体涉及一种基于超声(Ultrasound，US)和红外热(Infrared thermal，IRT)图多模态图像的甲状腺结节分类方法。

背景技术

甲状腺位于人体颈部前部下方，是人体重要腺体之一，其产生的甲状腺激素控制人体的新陈代谢。甲状腺激素不仅仅影响着人的胆固醇水平、心率，还影响着人的精神状态，甲状腺功能正常是身体中每一个器官正常运转的前提。近年来，甲状腺癌的发病率逐年上升。甲状腺癌的初期症状表现为颈部出现甲状腺结节，通常根据其特点可以分为良性结节(非癌性结节)和恶性结节(可导致甲状腺癌)。根据流行病学数据，甲状腺结节在人群中的发病率是19％-68％，然而仅有5％-15％是恶性的。对于良性的病例无需实施细针穿刺活组织检查或者手术，针对结节进行准确的良恶性分析不仅可以减少病人风险，也可以显著降低医疗成本。

甲状腺结节在成年人中的发病率达到了67％，对于他们大多数人而言，甲状腺结节的检测技术最好是无创的。在目前的甲状腺结节诊断方法中，US检测由于其无辐射、无创伤、可重复性好、低成本等优点，被作为临床诊断甲状腺疾病最为广泛的诊断方法。目前已经有很多研究者基于深度学习方法使用US图像来对甲状腺结节进行分类。Soon等人采取了迁移学习的方法使用预训练的深度学习模型VGG16来对US图像中的甲状腺结节进行分类，Qing等人则应用深度学习算法Inception-v3来区分甲状腺结节的良恶性，这些方法在甲状腺结节的分类中都取得了一定的效果。但是这些甲状腺结节的分类方法仅基于US这一种成像模态，在实际的临床诊断中，医生往往会综合利用多种模态的医学数据，如临床文本数据、影像波形数据、生物组学数据等来对患者进行更加全面、精确的诊断。近年来，另一种与US成像具有相同无辐射、无创伤、可重复性好特点的IRT成像技术也被研究者用于甲状腺疾病的检测中，Helmy等人使用立方体作为颈部模型，利用表面数值热图构建了原型系统，验证了热图像在甲状腺肿瘤检测中的潜力，德黑兰KN图什理工大学Bahramian等人用人工神经网络(Artificial Neural Network，ANN)对颈部热图进行分析，以区分甲状腺健康组织和癌组织，中国科学院长春光学精密机械与物理研究所范学霜等人在恒温恒湿条件下开展了健康对象甲状腺动态红外图像的多重分形特征研究，并对不同个体甲状腺多重分形特征参数进行了统计分析与差异性检验，研究结果表明健康个体甲状腺温度波动细节存在一定差异但幅度较小，均在0.15℃内波动。这些研究证明了IRT成像技术在甲状腺疾病检测方面具有一定的潜力。US图像和IRT图像可以从不同的角度反映甲状腺中病变区域的信息，US图像可以反映出甲状腺结节的大小、边界、形态、纵横比、回声、钙化及内部结构等形态学信息，而IRT图像则可以反映出病变部位由早期的代谢变化、血液循环变化而导致的温度变化。在多模态学习任务中，当一种模态的数据受到噪声干扰时，其他模态提供的信息可以协助纠正，综合噪声并不同步不同模态数据中的一致性信息，提高决策的准确性和鲁棒性。此外，不同仪器采集的不同模态的数据之间具有一定的差异性，即每个模态都能为其余模态提供一定信息的同时也可能包含其他模态没有的信息。综合不同模态数据的观测优势，实现信息的互补，可以获得更加全面的语义表达，提升模型对目标任务的理解深度，因此基于多模态学习方法综合利用来自US图像和IRT图像的信息以实现对甲状腺结节更加精确的分类是有十分有必要的。而在这项任务中，我们面临着以下挑战：首先是如何使模型具有更加充分的特征表达能力，能够获得模态内高层次的抽象特征表达；其次是如何促进模态间的抽象特征的信息交互和进行合理的特征融合。