[发明专利]扩散模型的优化方法、图像生成方法、电子设备及介质

权利要求书

1.一种扩散模型的优化方法，其特征在于，包括步骤：

在迷你批次中从扩散过程的马尔可夫链路径中对步骤进行随机采样，得到当前批次中的步骤t；

对所述步骤t的图像中的每个像素点进行随机加噪，得到步骤t的噪声图像；

基于所述噪声图像，通过模型对原图进行预测，得到模型预测的噪声；

计算所述模型预测的噪声与真实噪声之间的均方损失；

从标签集合中进行采样，得到额外的随机标签，其中所述标签集合遵循预设分布；以及

基于所述随机标签,对所述噪声图像的噪声进行重新预测，并计算分布调整损失。

2.如权利要求1所述的优化方法，其特征在于，对步骤进行随机采样包括：

在每个迷你批次中，在包含从1到T的所有整数的集合中进行随机采样，得到随机步骤t，其中T为扩散过程的总步骤数目。

3.如权利要求1所述的优化方法，其特征在于，所述随机加噪包括：

基于所述步骤t计算高斯分布的均值和协方差矩阵；

基于高斯分布采样得到与图像大小相同的噪声矩阵；以及

基于所述噪声矩阵对图像中的每个像素点进行随机加噪。

4.如权利要求1所述的优化方法，其特征在于，所述随机加噪包括：

在前向过程中，向原始图片逐步添加噪音，得到噪声图像，其中步骤t的噪声图像通过直接采样得到，其中为步骤1至步骤t累积的噪声大小，∈为从多元标准高斯分布中采样的噪声。

5.如权利要求1所述的优化方法，其特征在于，模型预测的噪声根据如下步骤得到：

基于所述噪声图像，通过以∈为参数的模型，对原始图像进行预测得到模型预测的噪声，其中∈为从多元标准高斯分布中采样的噪声。

6.如权利要求1所述的优化方法，其特征在于，所述均方损失由KL散度D_KL化简计算得到：

E_q[∑_t≥1D_KL[q(x_t-1|x_t,x₀)||p_θ(x_t-1|x_t)]]＝E_q[∑_t≥1L_t-1]，

其中，表示步骤t-1时刻的损失，其中为真实高斯分布期望，μ_θ(x_t,t)为模型预测的分布期望，C为常数项，以及L₀＝E_q[log p_θ(x₀|x_t)]。

7.如权利要求1所述的优化方法，其特征在于，所述均方损失由KL散度D_KL化简计算得到：

E_q[∑_t≥1D_KL[q(x_t-1|x_t,x₀)||p_θ(x_t-1|x_t)]]＝E_q[∑_t≥1L_t-1]，

其中，其中，表示步骤t-1时刻的损失，∈为从多元标准高斯分布中采样的噪声，∈_θ为模型预测噪声，以及L₀＝E_q[logp_θ(x₀|x_t)]。

8.如权利要求1所述的优化方法，其特征在于，所述随机标签根据如下步骤采样得到：

对目标标签分布进行蒙特卡洛采样，得到标签集合；以及

从所述标签集合中进行采样，得到额外的随机标签。