[发明专利]深度分层的变分自动编码器

权利要求书

1.一种用于执行机器学习的方法，包括：

将一组训练图像输入至机器学习模型，所述机器学习模型包括编码器部分、在先部分和解码器部分；

基于当处理训练数据集时由所述机器学习模型产生的一个或更多个输出的平滑度，通过更新所述机器学习模型的一个或更多个参数训练所述机器学习模型；以及

通过将所述解码器部分应用于基于所述在先部分的输出生成的值，产生反映与所述一组训练图像相关联的一个或更多个视觉属性的新图像。

2.根据权利要求1所述的方法，其中所述新图像包括在所述一组训练图像中没有发现的脸。

3.根据权利要求1所述的方法，其中所述新图像包括在所述一组训练图像中没有发现的动物或车辆。

4.一种用于执行机器学习的方法，包括：

将训练数据集输入至包括编码器网络、在先网络和解码器网络的变分自动编码器(VAE)；

基于由所述VSE从所述训练数据集产生的一个或更多个输出的平滑度，通过更新所述VAE的一个或更多个参数训练所述VAE；

通过将所述编码器网络应用至从由所述在先网络生成的潜在变量的第二分布中采样的一个或更多个值，产生反映所述训练数据集的第一分布的生成式输出。

5.根据权利要求4所述的方法，其中将所述编码器网络应用至所述一个或更多个值包括基于增加了与批处理归一化相关的运行统计信息达到与批处理归一化相关联的批处理统计信息的速率的动量参数，将批处理归一化应用至所述编码器网络的一个或更多个层。

6.根据权利要求5所述的方法，其中训练所述VAE包括将正则化参数应用至与所述批处理归一化相关联的缩放参数。

7.根据权利要求5所述的方法，其中应用所述批处理归一化至所述一个或更多个层包括将所述批处理归一化与Swish激活函数相结合。

8.根据权利要求5所述的方法，其中将所述批处理归一化应用至所述解码器网络的所述一个或更多个层包括基于从所述第二分布采样的一个或更多个值重新计算与所述批处理归一化相关联的批处理统计信息。

9.根据权利要求4所述的方法，其中所述VAE包括所述潜在变量组的层次结构，以及其中来自所述层次结构中的第一组的第一采样与特征图相结合并传递到跟随所述层次结构中的所述第一组的第二组，以在根据所述第二组生成所述第二采样时使用。

10.根据权利要求4所述的方法，其中所述VAE包括残差单元并且所述残差单元包括具有第一Swish激活函数的第一批归一化(BN)层、跟随具有所述第一Swish激活函数的所述第一BN层的第一卷积层、具有第二Swish激活函数的第二BN层、跟随具有所述第二Swish激活函数的所述第二BN层的第二变分自动编码器卷积层，以及挤压和激励(SE)层。

11.根据权利要求4所述的方法，其中所述VAE包括残差单元并且所述残差单元包括第一BN层、跟随所述第一BN层的第一卷积层、具有第一Swish激活函数的第二BN层，以及跟随所述第二BN层的逐深度可分的卷积层。

12.根据权利要求11所述的方法，其中所述残差单元进一步包括具有第二Swish激活函数的第三BN层、跟随所述第三BN层的第二卷积层、跟随所述第二卷积层的第四BN层，以及跟随所述第四BN层的SE层。

13.根据权利要求4所述的方法，其中训练所述VAE包括基于包括光谱正则化项的目标函数更新所述VAE的一个或更多个参数，所述光谱正则化项控制由所述VAE从所述训练数据集产生的一个或更多个输出的平滑度。