[发明专利]基于生成对抗网络的半监督X光图像自动标注

摘要

本发明提出了一种基于生成对抗网络半监督X光自动标注方法，基于现有的生成对抗网络方法，改进了传统训练方法，利用监督损失和无监督损失相结合的半监督训练方法进行基于少量标注样本的图像分类识别。围绕X光图像标注数据稀缺性的问题进行研究，首先在传统无监督生成对抗网络基础上用softmax替换最后输出层，扩展成为半监督生成对抗网络，其次对生成样本定义额外类别标签引导训练，然后采用半监督训练对网络参数进行优化，最后采用训练好的判别网络对X光图像进行自动标注。该方法在医学X光图像自动标注方面，相比于传统监督学习和其他半监督学习算法性能得到了提高。

主权项

1.一种基于半监督生成对抗网络的X光图像自动标注方法，其特征在于包括以下步骤：步骤一：构建网络结构：网络结构主要包括生成器和判别器，在生成对抗网络的基础上，通过将生成对抗网络的生成器的生成图像样本添加到数据库图像中，对于一个K类分类问题，用新生成的类y＝K+1标注生成图像样本，相应地将判别器输出softmax分类器的维数从K扩展到到K+1；(一)构建生成器：生成器网络结构使用多层反卷积网络来对随机噪声向量z进行上采样，生成指定大小的生成图像图像；首先将符合高斯分布分布的100维随机噪声z输入到全连接网络，通过维度变换使其成为三维张量；然后将维度变换后的张量输入到卷积核的大小为5×5，步长为2的多层反卷积层，每次完成反卷积之后都进行批量归一化处理，除了最后输出层使用tanh激活函数以外，其它层都采用ReLu激活函数，最后输出层输出指定大小为的张量，即为生成图像样本；(二)构建判别器：判别器网络由多个个卷积层，全连接层以及一个softmax输出串连组成；输入图像样本输入到采用卷积核为3×3的卷积层中，每次完成卷积之后都进行批量归一化处理，激活函数采用leakReLu函数；不同于传统的ReLU激活函数，leakReLu在负半轴保留了很小的斜率，避免了训练过程中梯度消失；最后经全连接层输出逻辑向量，通过softmax输出归一化类概率向量；步骤二：数据预处理在构建网络模型后，为了保证图像大小以及噪声等因素对网络训练过程中的影响，在网络模型训练之前对图像数据进行预处理：(一)针对数据库中的X光图像中出现的灰雾现象采用直方图均衡化对进行灰度值调整；(二)确保输入图像数据的一致性，对图像统一缩放为128×128像素；(三)对数据集进行分割，数据集按照7：2：1划分为训练集、测试集和验证集；(四)训练集数据分为标注样本数据和未标注样本数据，其中标注样本数据远远小于未标注样本数据量；步骤三：定义网络损失函数网络训练本质上就是损失函数的一个优化的过程，分别定义判别器和生成器损失函数，用于网络训练中参数优化和更新：(一)判别器网络损失：(1)判别器输入x对应三种数据：标注数据、未标数据、生成数据。(2)判别器输入x中标注样本数据对应的标签y，取自真实数据分布x,y～P_data；(3)未标注样本取自数据库数据分布x～P_data；(4)生成样本来自生成器x～G；(5)判别器接受样本x作为输入，输出一个K+1维的逻辑向量{l₁,l₂,···,l_K+1}，再由softmax输出归一化类概率向量：(6)概率前K维对应原有K个类，最后一维对应“伪样本”类，即生成图像样本类。P_model的最大值位置对应预测分类标签；(7)判别器输入对应三种数据分别对应各自损失L_label,L_unlabel,L_gen；(8)标签样本损失：真实类标签分布和预测类标签的交叉熵损失：(9)未标注样本损失：将未标记样本分为真的损失，即y≠K+1：(10)生成样本损失：将生成样本分为假的损失，即y＝K+1：L_gen＝‑E_x～G[logP_model(y＝K+1|x)](11)三类损失函数相结合为判别器损失函数。表示为：L_D＝L_label+L_unlabel+L_gen(二)生成器网络损失：(1)生成器由随机向量生成样本G(z)；(2)选取判别器全连接层输出的逻辑向量作为中间层的特征值f(·)；(3)采用要求生成器生成与真实数据的统计数据相匹配的特征匹配的方法作为生成器损失函数，定义为如下形式：步骤四：网络训练在构建网络模型，以及数据处理之后，最后将采用定义的损失函数随网络进行训练，本发明提出的半监督生成对抗网络模型具体训练步骤如下：1)在高斯分布中随机采样生成随机向量z，并将随机向量输入至生成器网络，得到生成图像G(z)；2)将标注和未标注的真实图像x以及生成图像G(z)按批次输入到判别器网络，通过softmax输出归一化的概率值D(x)和D(G(z))；3)固定判别器网络的参数，若真实图像x无标签，则将L_unlabel作为损失函数；若真实图像x有标签，则将L_label作为损失函数；若输入为生成图像，将L_gen作为损失函数。利用Adam梯度下降方式来调整判别器网络的参数；4)固定判别器网络的参数，选取全连接层输出作为中间层特征，对真实图像x和生成图像G(z)进行特征匹配操作，并利用特征匹配调整生成器网络的参数；5)重复1‑4步操作，直至达到迭代次数或网络达到收敛；6)将测试样本图像输入到判别器中，对测试图像进行自动标注。