[发明专利]生成融合特征集合的方法及装置

说明书

本申请提供了一种生成融合特征集合的方法及装置，该方法包括：确定第一模态图像对应的第一尺度的第一特征集合和第二模态图像对应的第一尺度的第二特征集合；将第一特征集合和第二特征集合输入特征处理模型，以得到第一尺度的第一融合特征集合。相对于现有技术，本申请所提供的技术方案通过特征处理模型对模态图像进行整体的特征变换和融合，增强了多模态特征的融合性和可解释性。

技术领域

本申请涉及深度学习技术领域，具体涉及一种生成融合特征集合的方法及装置。

背景技术

近年来，医学图像的采集通常会应用各种医学成像的设备，来获取的人体脏器或病变组织的图像。由于每种医学成像设备只能获取单一模态的医学图像，而单一模态的医学图像往往难以提供足够的信息。但现有的图像特征提取及融合的方法，会存在配准不完全准确、融合不充分，及不同影像配准结果有差异造成的过拟合等问题。

因此，如何将不同医学成像设备所获得的单一模态的医学图像进行融合，得到多模态的医学图像以获取更全面的信息为亟待解决的技术问题。

发明内容

有鉴于此，本申请实施例致力于提供一种生成融合特征集合的方法及装置，以解决现有技术中多模态图像融合性低、可解释性特征信息较少的问题。

第一方面，本申请实施例提供了一种生成融合特征集合的方法，该方法包括：确定第一模态图像对应的第一尺度的第一特征集合和第二模态图像对应的第一尺度的第二特征集合；将第一特征集合和第二特征集合输入特征处理模型，以得到第一尺度的第一融合特征集合。

在本申请某些实施例中，特征处理模型包括特征变换模块和特征融合模块，将第一特征集合和第二特征集合输入特征处理模型，以得到第一尺度的第一融合特征集合，包括：将第一特征集合和第二特征集合输入特征处理模型，利用特征变换模块，基于第一特征集合和第二特征集合确定第二特征集合对应的第一尺度的第三特征集合，其中，第三特征集合与第一特征集合之间存在空间匹配关系；利用特征融合模块，基于第一特征集合和第三特征集合融合生成第一尺度的第一融合特征集合。

在本申请某些实施例中，利用特征变换模块，基于第一特征集合和第二特征集合确定第二特征集合对应的第一尺度的第三特征集合，包括：利用特征变换模块，将第一特征集合和第二特征集合进行弹性配准操作，以确定第三特征集合。

在本申请某些实施例中，第一特征集合包括多个不同维度的第一特征，第二特征集合包括多个不同维度的第二特征，并且，多个不同维度的第一特征和多个不同维度的第二特征呈一一维度对应关系，利用特征变换模块，将第一特征集合和第二特征集合进行弹性配准操作，以确定第三特征集合，包括：利用特征变换模块，分别确定多个不同维度的第二特征与各自对应的第一特征之间的偏移量，以生成第二特征集合对应的偏移量集合；利用特征变换模块，基于偏移量集合，对第二特征集合中包括的多个不同维度的第二特征分别进行特征维度的重采样操作，以确定第三特征集合。

在本申请某些实施例中，利用特征变换模块，分别确定多个不同维度的第二特征与各自对应的第一特征之间的偏移量，以生成第二特征集合对应的偏移量集合，包括：针对多个不同维度的第二特征中的每个第二特征，将第二特征与第二特征对应的第一特征进行特征拼接操作，以生成第一拼接特征；对第一拼接特征进行卷积操作，以确定第二特征对应的第一方向偏移量和第二方向偏移量；基于多个不同维度的第二特征各自对应的第一方向偏移量和第二方向偏移量，生成偏移量集合。

在本申请某些实施例中，第三特征集合包括多个不同维度的第三特征，并且，多个不同维度的第三特征和多个不同维度的第一特征呈一一维度对应关系，基于第一特征集合和第三特征集合融合生成第一尺度的第一融合特征集合，包括：针对多个不同维度的第三特征中的每个第三特征，将第三特征与第三特征对应的第一特征进行特征拼接操作，以生成第二拼接特征；对第二拼接特征进行卷积操作，以确定第三特征对应的第一尺度的第一融合特征；基于多个不同维度的第三特征各自对应的第一尺度的第一融合特征，生成第一融合特征集合。