[发明专利]基于多模态图像数据的多层次融合皮肤病诊断系统

摘要

本公开实施例中提供了一种基于多模态图像数据的多层次融合皮肤病诊断系统，属于医学诊断技术领域，具体包括：数据集构建模块采集临床图像和皮肤镜图像数据；将多模态图像数据集中两种模态数据分别输入两个模态特征提取模块中；通过通道维加权模块对输入特征进行加权，根据特征图对诊断的重要性，增加或减少相关特征的权重；特征融合模块提取两个模态特征提取模块中多个层次的特征，对同一维度的特征进行特征级融合；初步诊断模块包括多个分类器；最终诊断模块包括自适应性决策融合模块，通过自适应决策融合模块融合分析初步诊断结果，得到最终诊断结果。通过本公开的方案，有效解决多模态融合时的信息丢失问题，并提高皮肤病早期诊断的准确性。