[发明专利]图像预测模型的训练方法及装置、存储介质及电子设备

说明书

本公开实施例公开了一种图像预测模型的训练方法及装置、通过神经网络模型预测图像的方法及装置、计算机可读存储介质及电子设备，其中，该图像预测模型的训练方法包括：通过图像生成网络模型对样本图像序列进行预测，得到的预测图像；在第一损失函数的监督下，调整图像生成网络模型的参数；通过判别网络模型，对基准图像和预测图像分别进行判别，得到第一判别值和第二判别值；基于第二损失函数，确定第一判别值与第二判别值的概率分布之间的距离；通过最大化距离，调整判别网络模型的参数，将参数调整后的图像生成网络模型确定为图像预测模型。本公开实施例可以避免梯度弥散和梯度消失的问题，提高了训练的稳定性和图像预测模型的预测精度。

技术领域

本公开涉及计算机技术领域，尤其是一种图像预测模型的训练方法及装置、通过神经网络模型预测图像的方法及装置、计算机可读存储介质及电子设备。

背景技术

目前，基于视频预测未来的图像帧的方案被应用到诸如自动驾驶、视频监控等各种领域。在视频预测中，需要使预测的物体图像尽量逼真，且预测的物体运动轨迹尽量符合物体真实的运动规律。目前基于神经网络的图像预测模型，主要使用卷积神经网络+LSTM(长短期记忆网络，Long Short-Term Memory)等作为模型的主干网络，通过监督学习进行模型的训练，训练完成后通过输入前几帧图像到主干网络，预测得到未来帧。这种使用监督学习训练的预测网络一般是确定性预测，但是现实的物体运动情况往往是含有随机因素的，确定性预测不能完全刻画物体运动中的随机特性。

此外，还可以将生成对抗网络(GAN，Generative Adversarial Networks)应用到视频预测中，一方面训练判别器对生成的图像和真实图像进行判别，判别器应当尽量判定生成的图像为假，真实的图像为真；另一方面生成器要尽量使判别器难以区分真实图像和生成的图像。但目前的视频预测使用的生成对抗网络，在训练时通常会出现判别器和生成器的学习速度不一致，引起梯度弥散的问题。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像预测模型的训练方法及装置、通过神经网络模型预测图像的方法及装置、计算机可读存储介质及电子设备。

本公开的实施例提供了一种图像预测模型的训练方法，该方法包括：获取样本图像序列和与样本图像序列对应的基准图像；通过图像生成网络模型对样本图像序列进行预测，得到位于样本图像序列的最后一帧图像之后的预测图像；在预设的第一损失函数的监督下，通过预测图像和基准图像，调整图像生成网络模型的参数；通过判别网络模型，对基准图像和预测图像分别进行判别，得到基准图像和预测图像分别对应的第一判别值和第二判别值；基于预设的第二损失函数，确定第一判别值的概率分布与第二判别值的概率分布之间的距离；通过最大化距离，调整判别网络模型的参数；响应于图像生成网络模型和判别网络模型符合预设的训练结束条件，将参数调整后的图像生成网络模型确定为图像预测模型。

根据本公开实施例的另一个方面，提供了一种通过神经网络模型预测图像的方法，该方法包括：获取第一图像序列；基于预先训练的图像预测模型和第一图像序列，生成预设数量的预测图像，其中，预设数量的预测图像位于第一图像序列的最后一帧图像之后；基于第一图像序列和预设数量的预测图像，生成用于对目标物体进行轨迹预测的第二图像序列；对第二图像序列进行目标跟踪，得到目标物体的运动轨迹。