[发明专利]基于多模态分解表示学习的特征处理方法、装置及设备

权利要求书

1.一种基于多模态分解表示学习的特征处理方法，其特征在于，包括：

对多模态医学影像的多个模态进行提取特征处理，得到多模态影像特征集；

对所述多模态影像特征集中的每个多模态影像特征进行编码处理，得到所述多模态影像特征的高阶潜在表示；

对每个多模态影像特征的高阶潜在表示进行分解处理，得到多模态间的共性特征高阶表示和异性特征高阶表示；

对所述共性特征高阶表示和所述异性特征高阶表示进行编码处理，重构出所述多模态影像特征。

2.根据权利要求1所述的方法，其特征在于，

所述多模态医学影像包括超声影像、CT影像、正电子扫描PET影像、核磁共振成像MRI影像、病理影像中的至少一种。

3.根据权利要求2所述的方法，其特征在于，所述对多模态医学影像的多个模态进行提取特征处理，包括：

获取核磁共振成像MRI影像，所述核磁共振成像MRI影像的模态包括磁共振成像液体衰减反转恢复序列FLAIR、T1加权成像序列、T1强化加权成像序列T1ce和T2加权成像序列；

基于预设影像组学库，对所述核磁共振成像MRI影像的各模态提取形态学特征。

4.根据权利要求1所述的方法，其特征在于，所述多模态间的共性特征高阶表示和异性特征高阶满足如下条件：

任意两个模态间的共性特征高阶表示的相似度大于预设相似度阈值；

任意两模态间的异性特征高阶表示的差异度大于预设差异度阈值；

任意模态的共性特征高阶表示与除它之外的其他任意模态的异性特征高阶表示能够重构所述多模态影像特征。

5.根据权利要求1所述的方法，其特征在于，所述对每个多模态影像特征的高阶潜在表示进行分解处理，包括：

将每个多模态影像特征的高阶潜在表示输入至预构建的多模态分解表示自编码器进行分解处理；

则在所述对每个多模态影像特征的高阶潜在表示进行分解之前，所述方法还包括：

获取多模态影像特征样本集；

基于所述多模态影像特征样本集，通过最小化多任务损失函数，对多模态分解表示自编码器进行训练；

其中，多任务损失函数被定义为分解表达损失和跨模态重构损失的加权和，所述分解表达损失对应的共性表达损失和异性表达损失分别被定义为任意两个模态的共性表达和异性表达的L2范式，所述跨模态重构损失被定义为输入模态与重构特征的L2范式。

6.根据权利要求1所述的方法，其特征在于，在所述重构出所述多模态影像特征之后，方法还包括：

基于所述多模态影像特征，对所述多模态医学影像进行分类处理。

7.一种基于多模态分解表示学习的特征处理装置，其特征在于，包括：

特征提取模块，用于对多模态医学影像的多个模态进行提取特征处理，得到多模态影像特征集；

编码模块，用于对所述多模态影像特征集中的每个多模态影像特征进行编码处理，得到所述多模态影像特征的高阶潜在表示；

分解模块，用于对每个多模态影像特征的高阶潜在表示进行分解处理，得到多模态间的共性特征高阶表示和异性特征高阶表示；

重构模块，用于对所述共性特征高阶表示和所述异性特征高阶表示进行编码处理，重构出所述多模态影像特征。

8.根据权利要求7所述的方法，其特征在于，所述多模态间的共性特征高阶表示和异性特征高阶满足如下条件：

任意两个模态间的共性特征高阶表示的相似度大于预设相似度阈值；

任意两模态间的异性特征高阶表示的差异度大于预设差异度阈值；

任意模态的共性特征高阶表示与除它之外的其他任意模态的异性特征高阶表示能够重构所述多模态影像特征。