[发明专利]结合对抗自编码器和生成对抗网络的图像合成方法及系统

说明书

本发明公开了一种结合对抗自编码器和生成对抗网络的图像合成方法及系统。该方法包括构造包括两组不同类别的编码器、两组不同类别的第一判别器和一组解码器的增强型对抗自动编码器；构造包括生成器和第二判别器的改进后条件式生成对抗网络；将人工分割血管树图像和原始眼底视网膜图像作为训练数据，对结合增强型对抗自动编码器和改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器；基于最优血管树图像生成器和最优眼底视网膜图像生成器对待处理的人工分割血管树图像进行眼底视网膜图像合成，得到合成图像。本发明可以生成精度更高、风格更多样化的样本数据，有效扩增有限的训练样本数据。

技术领域

本发明涉及图像处理领域，特别是涉及一种结合对抗自编码器和生成对抗网络的图像合成方法及系统。

背景技术

医疗应用领域，性能优越的医学图像处理算法需要大量有效、带有特定标注信息的医学图像数据作为训练样本数据。因实际的治疗过程中，医疗设备会带有较大辐射损害人体健康和涉及病人自身隐私等原因，所以直接获取医学图像数据比较困难，从而人体不同器官的医学图像数据样本非常稀缺；同时，不同人体器官引发的病灶复杂程度不同，人工标注有效特征信息标签难度也会非常大，花费也很高。因此，为了促进医学图像分割、医学图像识别和医学图像配准等医疗技术水平的提升，合成医学图像扩增样本数据集受到广泛的关注。

综合国内外医学图像数据扩增技术的研究现状，相关研究方法可分为两大类：基于传统的医学图像扩增方法和基于深度学习的医学图像扩增方法。其中传统扩增方法包括刚性变换，如平移、翻转、旋转、缩放和仿射变换等；非刚性变换，如弹性变换；刚性变换是通过设定几个固定的转换映射矩阵对图像进行变换，最终获取扩增后的数据集也仅仅只包含这几种预先设定好的对应转换关系；非刚性变换是通过对像素点设定相应的约束范围，如局部像素点的旋转角度和像素点的平移距离等，虽能扩增数据集，也能呈现多样性的变化，但是对变换之后的图像没有一个具体的评估标准，很难把控数据变换的一个合理范围，得到的扩增数据不稳定。上述基于传统的医学图像扩增的方法虽然能使得有限的数据样本在数量上得到扩增，但是扩充数据的多样性本质上没有太大的改变，如真正意义上的旋转应该是按照一定的角度，图像中的每一个像素点进行3D旋转，而不仅仅是图像本身整体按照角度旋转。

为了能够解决基于传统数据扩增方法中存在的问题和局限性，于2014年，相关学者提出生成对抗网络合成方法用于生成与真实数据集在像素灰度和结构性上相似的扩增样本数据，训练期间不需要依赖大量带有标签的样本，该合成方法是通过生成器网络和判别器网络互相博弈产生最佳的输出。但是生成对抗网络的实际训练难度极大，易出现梯度消失和过拟合等问题。有相关学者为缓解该问题，提出最小二乘生成对抗网络的方法，通过收敛条件更严格的最小二乘法构造损失函数。为了使得生成对抗网络合成方法更有目的性、更高效地生成所需要的合成样本，相关学者提出条件式生成对抗网络合成方法，通过给训练模型提供少量的标签信息来实现图像的合成。

综上所述，基于传统的医学数据扩增方法虽然能在数量上对有限数据集进行增加，但是扩增图像缺乏多样性的变化；基于深度学习的医学图像扩增方法虽能在数量和多样性上对有限训练样本进行扩增，但是合成网络的训练过程欠缺稳定性，需要进一步优化合成模型。

发明内容

基于此，有必要提供一种结合对抗自编码器和生成对抗网络的图像合成方法及系统，能够对有限的医学图像数据集进行样本数据扩增，丰富医学图像数据库，能够提高合成网络的训练过程的稳定性，提升图像合成的精度和泛化性能，进而促进医学图像分割、医学图像配准和医学图像识别等医疗技术的精度和泛化性能提升。

为实现上述目的，本发明提供了如下方案：

一种结合对抗自编码器和生成对抗网络的图像合成方法，包括：