[发明专利]一种局灶性病变征象描述指导的肝核磁影像序列生成方法

说明书

本发明公开了一种局灶性病变征象描述指导的肝核磁影像序列生成方法。该方法通过生成对抗网络生成的肝脏影像既符合对应征象描述又能保证肝脏结构的完整性和真实性。该方法通过自注意力模块在生成肝脏部分结构的时候会构建肝脏不同结构之间的长距离依赖关系，使得生成影像中的肝脏结构完整无异常，从而提高肝脏影像整体的真实性。该方法通过多头注意力模块在生成肝脏某一区域时既可以从全局角度考虑整体的征象描述又可以从局部角度考虑病灶的细粒度描述，从而提高生成的肝脏影像和对应征象描述的语义一致性。通过这种生成数据的方式，可以为其他肝脏影像相关的深度学习模型提供数据支持。

技术领域

本发明属于计算机视觉中图像生成领域，具体涉及一种局灶性病变征象描述指导的肝核磁影像序列生成方法。

背景技术

随着电脑计算力的提高，深度学习也变得炙手可热，通过海量的数据训练出的深度学习模型已经在许多领域超越了人类。但是在某些情况下我们很难得到大量的数据去训练深度学习模型，尤其在医学影像方面，一方面医学影像数据需要由专业人士标注，整个过程耗时繁琐，另一方面医学影像数据涉及到病人隐私，所以往往很难从医院得到大量的数据以供给深度学习模型训练，因此如何获取到合适且大量的医学影像数据进而训练医学影像分类分割等深度学习模型是一个待解决的重要问题。

近些年生成对抗网络在生成图像方面有着十分优秀的表现，在基于生成对抗网络的文本生成图像领域也有了很多优秀的工作。将随机噪声和编码后的自然语言描述输入到生成对抗网络中，网络不但会生成一张真实度很高的图像，而且生成的图像也符合输入的自然语言的描述。所以我们使用生成对抗网络来生成符合征象描述的肝脏病灶影像，通过这种数据增广的方法为肝脏影像任务提供数据支持并进一步提高相关模型的泛化性。

对于肝脏这种人体器官影像的生成，我们必须要保证生成影像的精度，肝脏结构不能出现结构异常或缺失的现象，我们在网络中使用自注意力机制，自注意力机制通过构建肝脏不同部位的长距离依赖关系从而保证生成影像中的肝脏结构完整正常；肝脏影像的征象描述包含肝脏形态的整体描述和具体病灶区域的细节描述，生成肝脏影像既要符合肝脏整体描述又要符合病灶细粒度描述，我们在网络中使用多头注意力机制，多头注意力机制通过考虑全局角度和局部角度下的征象描述词汇对肝脏某一区域的影响从而提升生成影像和征象描述的语义一致性。

发明内容

本发明的目的在于提供了一种局灶性病变征象描述指导的肝核磁影像序列生成方法。网络主体使用生成对抗网络并采用递进式生成的思路，网络的第一阶段生成64×64的低分辨率图像，网络的第二阶段进一步细化第一阶段生成的图像并生成分辨率128×128的图像，网络的第三阶段细化第二阶段生成的图像最终生成分辨率256×256的图像。我们在网络的每两个阶段间都添加了自注意力模块和多头注意力模块。自注意力模块可以在网络生成肝脏某一结构时会计算其他结构对该结构的影响，自注意力模块通过帮助肝脏不同结构间建立长距离的依赖关系可以进一步提升生成影像的结构完整性和生成影像整体的真实性。多头注意力模块可以在网络生成肝脏某一区域时从不同的角度考虑同一征象词汇对该区域的影响，最后综合不同空间下计算出的特征图，多头注意力模块可以帮助网络综合考虑全部的征象描述信息从而进一步提升生成肝脏影像和征象描述的语义一致性。

为实现上述目的，本发明采用以下技术方案：一种局灶性病变征象描述指导的肝核磁影像序列生成方法，首先扫描采集肝脏部位MRI病例数据并对每例数据进行人工征象描述；其次对采集的原始数据进行处理，根据处理后的数据制作出相应的数据集；接下来训练一个循环神经网络(RNN)，通过这个循环神经网络将征象描述转换为单词级特征和句子级向量；之后将句子级向量和噪声输入到主体的生成对抗网络中，通过连续的卷积和上采样操作，提高特征图的维度，在网络的每两个阶段之间采用自注意力机制和多头注意力机制。在经过三个阶段的分辨率提升后可以得到分辨率为256×256的肝脏影像。

一种局灶性病变征象描述指导的肝核磁影像序列生成方法，该方法包括以下步骤：

步骤1，采集临床病例的肝脏部位MRI的T1WI扫描序列，让医生对每个病例都进行相应的征象描述。