[发明专利]结合对抗自编码器和生成对抗网络的图像合成方法及系统

权利要求书

1.结合对抗自编码器和生成对抗网络的图像合成方法，其特征在于，包括：

构造增强型对抗自动编码器；所述增强型对抗自动编码器包括两组不同类别的编码器、两组不同类别的第一判别器和一组解码器；所述两组不同类别的编码器包括内容编码器和风格编码器，所述两组不同类别的第一判别器包括内容编码判别器和风格编码判别器；所述两组不同类别的编码器用于根据输入的人工分割血管树图像，得到人工分割血管树图像的内容编码向量和风格编码向量；所述两组不同类别的第一判别器用于将所述内容编码向量与人工获取的先验内容编码向量进行区分判别，以及将所述风格编码向量与人工获取的先验风格编码向量进行区分判别，并进行反向调节训练；所述解码器用于对所述内容编码向量和所述风格编码向量进行重组，得到重建血管树图像；

构造改进后条件式生成对抗网络；所述改进后条件式生成对抗网络包括生成器和第二判别器；所述生成器用于根据人工分割视网膜外轮廓掩码和所述增强型对抗自动编码器输出的重建血管树图像生成重建眼底视网膜图像；所述第二判别器用于对所述重建眼底视网膜图像进行判断，并进行反向调节训练；

将所述人工分割血管树图像和原始眼底视网膜图像作为训练数据，对所述增强型对抗自动编码器和所述改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器；

基于所述最优血管树图像生成器和所述最优眼底视网膜图像生成器对待处理的人工分割血管树图像进行眼底视网膜图像合成，得到合成图像；

所述将所述人工分割血管树图像和原始眼底视网膜图像作为训练数据，对所述增强型对抗自动编码器和所述改进后条件式生成对抗网络进行迭代训练，得到最优血管树图像生成器和最优眼底视网膜图像生成器，具体包括：

获取人工分割血管树图像和原始眼底视网膜图像，得到训练数据；所述人工分割血管树图像和所述原始眼底视网膜图像相对应；

将所述人工分割血管树图像分别作为所述内容编码器和所述风格编码器的输入，得到内容编码向量和风格编码向量，并将所述内容编码向量和所述风格编码向量作为所述解码器的输入，得到重建血管树图像；

将所述内容编码向量和所述先验内容编码向量作为所述内容编码判别器的输入进行区分判别，将所述风格编码向量与所述先验风格编码向量作为所述风格编码判别器的输入以进行区分判别；

根据所述人工分割血管树图像和所述重建血管树图像构造编码器重建损失函数和第一判别器对抗损失函数；所述编码器重建损失函数为所述增强型对抗自动编码器中的所述内容编码器和所述风格编码器对应的重建损失函数；所述第一判别器对抗损失函数为所述增强型对抗自动编码器中的所述内容编码判别器和所述风格编码判别器对应的对抗损失函数；

将人工分割视网膜外轮廓掩码、所述重建血管树图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为所述生成器的输入，生成重建眼底视网膜图像；

将所述重建血管树图像、所述重建眼底视网膜图像、所述人工分割血管树图像和所述原始眼底视网膜图像作为第二判别器的输入以进行判断；

根据所述原始眼底视网膜图像和所述重建眼底视网膜图像构造第二判别器对抗损失函数和生成器全局一致性损失函数；所述第二判别器对抗损失函数为所述改进后条件式生成对抗网络中的第二判别器的对抗损失函数；所述生成器全局一致性损失函数为所述改进后条件式生成对抗网络中的生成器的全局一致性损失函数；

根据所述编码器重建损失函数、所述第一判别器对抗损失函数、所述第二判别器对抗损失函数和所述生成器全局一致性损失函数，得到合成模型总损失函数；

根据所述合成模型总损失函数，采用反向传播的方式对所述增强型对抗自动编码器和所述改进后条件式生成对抗网络进行联合训练，使得所述增强型对抗自动编码器和所述改进后条件式生成对抗网络中的参数不断更新优化，得到最优血管树图像生成器和最优眼底视网膜图像生成器；所述最优血管树图像生成器为训练好的结合增强型对抗自动编码器，所述最优眼底视网膜图像生成器为训练好的改进后条件式生成对抗网络。