[发明专利]训练人工神经网络、人工神经网络、应用、计算机程序、存储介质和设备

说明书

用于借助训练数据集（x1直至xt+h）来训练人工神经网络（60）的方法，用以为了控制技术系统而根据过去的连续时间序列（x1直至xt）来预测在时间步（t+1直至t+h）中的未来的连续时间序列（xt+1直至xt+h），所述人工神经网络（60）尤其是贝叶斯神经网络、尤其是递归人工神经网络、尤其是VRNN，所述方法具有根据损失函数来适配人工神经网络的参数的步骤，其中所述损失函数包括第一项，所述第一项具有对在关于至少一个隐变量（隐变量）的先验概率分布（先验）与关于至少一个隐变量（隐变量）的后验概率分布（推断）之间的间距的下界（ELBO）的估计，其中所述先验概率分布（先验）与未来的连续时间序列（xt+1直至xt+h）无关。

技术领域

本发明涉及一种用于训练人工神经网络的方法。此外，本发明还涉及一种借助根据本发明的用于训练的方法来训练的人工神经网络，以及涉及这种人工神经网络的应用。除此以外，本发明还涉及一种相对应的计算机程序、一种相对应的机器可读的存储介质以及一种相对应的设备。

背景技术

自动化驾驶的支柱是行为预测，该行为预测涉及预报交通智能体（如例如车辆、骑行者、行人）的行为的问题领域。对于至少部分自动化运行的车辆而言重要的是，知道围绕该车辆的交通智能体的可能的未来轨迹的概率分布，以便以如下方式来执行安全规划、尤其是运动规划：控制至少部分自动化运行的车辆，使得碰撞风险最小。行为预测可以分配给预测连续时间序列的一般性问题，该问题又可以被当作生成式建模的情况。生成式建模涉及概率分布的近似、例如借助人工神经网络（KNN）对概率分布的近似，以便以受数据控制的方式来学习概率分布：目标分布通过数据集表示，该数据集由多个来自该分布的抽样组成，并且KNN被训练为输出如下分布：所述分布以高概率对应于数据样本，或产生与训练数据集的样本相似的样本。目标分布可以（例如针对图像生成）是无条件的，或者可以（例如针对预测，其中未来状态的分布取决于过去的状态）是有条件的。在行为预测中，任务在于，根据确定数目的过去的状态来预测确定数目的未来状态。例如，根据确定的车辆在过去5秒中的位置，预测该车辆在接下来的5秒中的位置的概率分布。在假设为10Hz的时间扫描的情况下，这可能会意味着，要根据对50个过去的状态的了解来预测50个未来的状态。用于对这种问题进行建模的一种可能的着手方式是利用递归人工神经网络（英语：Recurrent NeuralNetwork；RNN）或者一维卷积人工神经网络（英语：1D Convolutional Neural Network；1D-CNN）对时间序列进行建模，其中输入是过去位置的序列，并且输出是（例如呈二维正态分布的平均值和参数形式的）未来位置的分布序列。

如变分自编码器（VAE，Variational Autoencoder）之类的具有深度隐变量的模型是用于借助人工神经网络进行生成式建模的广泛流行的工具。尤其是，条件VAE（英语：Conditional VAE；CVAE）可被用于学习条件分布（也就是说以y为条件的x的分布），其方式是：优化对数分布的下边界（英语：Evidence Lower Bound（证据下界），ELBO）的随后估计。如下优化对数概率的下边界：

。

通过最大化该下边界，所基于的概率分布也变得更高。通过应用最大概率估计（英语：Maximum Likelihood Estimation（最大似然估计），MLE）方法，该式子可以被用作针对要训练的人工神经网络的训练对象。为此，要由所述网络对三个分量进行建模：

1）先验概率分布（先验（Prior））：表示隐变量z在变量y的条件下的概率分布。

2）后验概率分布（推断（Inference））：在此表示隐变量z在变量y和可观测到的输出x的条件下的概率分布。

3）其他概率分布（生成（Generation））：在此表示可观测到的输出x在变量y以及隐变量z的条件下的概率分布。

如果RNN被用作人工神经网络，则要附加地实施隐状态（英语Hidden States），所述隐状态是将过去的时间步概括为先验、推断和生成概率分布的条件。