[发明专利]基于多模态数据的病灶分类方法及相关产品

说明书

本申请涉及人工智能中的神经网络技术领域，具体公开了一种基于多模态数据的病灶分类方法及相关产品，包括：获取第一医学图像和第二医学图像，第一医学图像和第二医学图像为同一部位在不同成像模式下得到的医学图像，且第一医学图像的空间复杂度大于第二医学图像；通过第一网络对第一医学图像进行特征提取，得到第一特征图；通过第二网络对所述第一医学图像进行特征提取，得到第二特征图；通过第三网络对第二医学图像进行特征提取，得到第三特征图；根据第一特征图、第二特征图以及第三特征图进行分类，得到该部位对应的病灶。本申请实施例有利于提高分类精度。本申请还涉及区块链技术，本申请还可应用于智慧医疗领域中，从而推动智慧城市的建设。

技术领域

本申请涉及神经网络技术领域，具体涉及一种基于多模态数据的病灶分类方法及相关产品。

背景技术

随着人工智能的发展，神经网络应用的范围越来越广泛。使用神经网络进行图像分类已经成为人们生活的一部分。例如，使用预先训练好的神经网络对监控视频中的人物识别或者对核磁共振图像中肿瘤识别。

虽然神经网络对图像分类有着不错的表现。但是，目前的神经网络通常都是通过加深网络结构，对同一模态的图像进行特征提取和分析，以获取该图像的深层特征。对于图像分类来说，每次分类任务可能存在多个模态下的待分类图像，但是，在实际分类过程中只利用一个模态下的待分类图像进行图像分类。例如，在进行病灶分类的过程中，可以使用灰度医学图像或彩色医学图像进行病灶分类。因此，在进行病灶分类的过程中，使用的图像数据比较单一，导致分类精度比较低。

发明内容

本申请实施例提供了一种基于多模态数据的病灶分类方法及相关产品，使用多模态下的图像数据进行图像分类，提高分类精度。

第一方面，本申请实施例提供一种基于多模态数据的病灶分类方法，所述方法通过神经网络执行，所述神经网络包括第一网络、第二网络和第三网络，其中，所述第一网络的深度大于所述第二网络和所述第三网络，所述方法包括：

获取第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像；

通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图；

通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图；

通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图；

根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶。

第二方面，本申请实施例提供一种基于多模态数据的病灶分类装置，所述病灶分类装置通过神经网络执行病灶分类过程，所述神经网络包括第一网络、第二网络和第三网络，其中，所述第一网络的深度大于所述第二网络和所述第三网络，所述病灶分类装置包括：

获取单元，用于获取第一医学图像和第二医学图像，所述第一医学图像和所述第二医学图像为同一部位在不同成像模式下得到的医学图像，且所述第一医学图像的空间复杂度大于所述第二医学图像；

特征提取单元，用于通过所述第一网络对所述第一医学图像进行特征提取，得到第一特征图；

特征提取单元，还用于通过所述第二网络对所述第一医学图像进行特征提取，得到第二特征图；

特征提取单元，还用于通过所述第三网络对所述第二医学图像进行特征提取，得到第三特征图；

分类单元，用于根据所述第一特征图、所述第二特征图以及所述第三特征图进行分类，得到所述部位对应的病灶。