[发明专利]基于多模态分解表示学习的特征处理方法、装置及设备

说明书

本文件提供一种基于多模态分解表示学习的特征处理方法、装置及设备。方法包括：对多模态医学影像的多个模态进行提取特征处理，得到多模态影像特征集；对所述多模态影像特征集中的每个多模态影像特征进行编码处理，得到所述多模态影像特征的高阶潜在表示；对每个多模态影像特征的高阶潜在表示进行分解处理，得到多模态间的共性特征高阶表示和异性特征高阶表示；对所述共性特征高阶表示和所述异性特征高阶表示进行编码处理，重构出所述多模态影像特征。由此，能够有效实现多模态特征融合以用于下游医学影像智能辅助分类任务。

技术领域

本说明书涉及医疗技术领域，尤其是涉及一种基于多模态分解表示学习的特征处理方法、装置及设备。

背景技术

随着计算机科学技术的飞速发展和医学成像技术的不断进步，在各医院或医疗机构积累了大量类型多样、结构各异的多模态医学影像数据。其多模态医学影像数据主要包括有超声影像、CT、正电子扫描PET、核磁共振成像MRI、病理影像等。近年来，医工交叉领域得到飞速发展，旨在基于医学影像大数据，利用人工智能技术进行医学影像的快速精准分类、病灶位置精确识别等辅助医疗诊断工作，降低医生诊断时间，减少误诊率。但如何充分利用多模态影像数据实现多模态特征有效融合成为精准医疗领域中的一个重大研究热点。

通常而言，一个模态数据可以提取多种语义特征，不同模态数据包含的信息量有所不同，对结果的贡献度也不同。研究如何协同学习不同模态特征，综合判断得到全局最优解是一个热门问题。当前主流医学影像特征提取方法主要有两类：一类是基于人工定义的放射组学特征，另一类是基于深度学习的深度组学特征。基于人工提取的放射组学特征可解释性较强，但灵活性较低，高度依赖专业知识；基于深度学习的深度组学特征，可解释性较低，但模型设计灵活。

特征选择是一种降低维度的常用方法，通过特征选择，可以从高维特征集中选择重要的特征子集以进行下游分类或回归任务，以避免维度灾难和降低计算成本；同时，它也可以用来去除一定的噪声特征降低了学习难度；去除噪声信息得干扰，保留关键特征信息以提高预测精度。这种方法尽管能去除一些噪声信息，降低计算成本，但面对多模态特征选择，有可能去除模态间的互补信息，进而不能实现多模态特征的有效融合。同时，原始影像特征其预测性能有限，多原始特征进行高阶表示有望能体现预测性能，例如通过自编码器对原始特征进行编码可得到具有较强预测能力的高阶特征表示。但如何有效地针对多模态影像特征进行高阶表示，以实现多模态间的互补性，进而得到医学诊断结果全局最优是一个挑战性问题。

发明内容：

本说明书提供了一种基于多模态分解表示学习的特征处理方法，用以解决如何有效地针对多模态影像特征进行高阶表示，以实现多模态间的互补性的问题。

第一方面，本说明书实施例提供了一种基于多模态分解表示学习的特征处理方法，包括：

对多模态医学影像的多个模态进行提取特征处理，得到多模态影像特征集；

对所述多模态影像特征集中的每个多模态影像特征进行编码处理，得到所述多模态影像特征的高阶潜在表示；

对每个多模态影像特征的高阶潜在表示进行分解处理，得到多模态间的共性特征高阶表示和异性特征高阶表示；

对所述共性特征高阶表示和所述异性特征高阶表示进行编码处理，重构出所述多模态影像特征。

可选的，所述多模态医学影像包括超声影像、CT影像、正电子扫描PET影像、核磁共振成像MRI影像、病理影像中的至少一种。

可选的，所述对多模态医学影像的多个模态进行提取特征处理，包括：

获取核磁共振成像MRI影像，所述核磁共振成像MRI影像的模态包括磁共振成像液体衰减反转恢复序列FLAIR、T1加权成像序列、T1强化加权成像序列T1ce和T2加权成像序列；

基于预设影像组学库，对所述核磁共振成像MRI影像的各模态提取形态学特征。