[发明专利]基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法

说明书

本发明公开了一种基于隐藏表征和深度生成对抗模型的多模态数据处理方法，包括：使用深度神经网络学习多模态数据的隐藏表征；如果多模态数据有部分数据遗失，通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据。利用多模态数据获得隐藏表征，保证数据完整性的同时提高合成图像的准确率和稳定性。

技术领域

本发明涉及图像处理领域，更具体而言，本发明涉及基于隐藏表征和深度生成对抗模型的多模态数据处理系统和方法。

背景技术

近年来，不同模态的神经影像技术(如结构、弥散和功能磁共振)已经被广泛地应用于人脑图像的研究中。随着人工智能技术的突飞猛进，研究人员将机器学习(人工智能)与神经影像学相结合，通过复原出的清晰医学影像，实现对组织图像的不同区域的精准呈现，有助于医生对患者病情做出更好的诊断。

尽管多模态神经影像技术和人脑连接组学研究方法不断发展，目前已经能够考察脑结构和功能连接通路，但是多模态数据往往会出现数据缺漏的问题。与此同时，现有脑部组织分类算法准确率较低、稳定性较差。

发明内容

针对现有技术中存在的问题，本发明提出基于隐藏表证和深度对抗模型的图像处理系统和方法。利用多模态数据(包括MRI、正电子发射计算机断层扫描PET、基因、认知表现、人口统计信息等生物样本库)获得隐藏表征，保证数据完整性的同时提高合成图像的准确率和稳定性。这样的算法将有望成为神经病理学研究的标准部分，训练有素地帮助科学家分析大量数据，以开启对疾病原因和潜在治疗的新见解。

根据本发明的一个实施例，提供一种基于隐藏表征和深度生成对抗模型的多模态数据处理方法，包括：

使用深度神经网络学习多模态数据的隐藏表征；

如果多模态数据有部分数据遗失，通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据。

在本发明的一个实施例中，所述多模态数据包括图像数据和生物样本库数据。

在本发明的一个实施例中，所述多模态数据包括完整多模态数据和不完整多模态数据。

在本发明的一个实施例中，利用具有完整多模态数据的样本来获取共同的隐藏表征；

利用具有不完整多模态数据的样本来获取每个模态专有的隐藏表征；

将所有的隐藏表征被投影到标签空间用于图像合成。

在本发明的一个实施例中，通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据包括：通过使用RIED-Net对输入数据进行处理，RIED-Net包含9个残差起始块，编码路径中有5个残差起始块，解码路径中有4个残差起始块。

在本发明的一个实施例中，在每一个残差起始块中，存在具有3个卷积层的主路径和从第一层到最后一层的残差起始路径，在该残差起始路径上实施1×1卷积层。

根据本发明的另一个实施例，提供一种基于隐藏表征和深度生成对抗模型的多模态数据处理系统，包括：

隐藏表征生成单元，所述隐藏表征生成单元使用深度神经网络学习多模态数据的隐藏表征；

图像生成单元，所述图像生成单元通过深度生成对抗模型GAN生成缺失数据，协同隐藏表征共同生成图像数据。

在本发明的另一个实施例中，所述多模态数据包括完整多模态数据和不完整多模态数据。

在本发明的另一个实施例中，所述隐藏表征生成单元包括包括隐藏表征空间，将所述多模态数据的每个模态投射到所述隐藏表征空间中，其中利用具有完整多模态数据的样本来获取共同的隐藏表征，利用具有不完整多模态数据的样本来获取每个模态专有的隐藏表征。