[发明专利]用于创建深度神经网络的方法、设备和计算机程序

说明书

本发明涉及一种用于创建深度神经网络（10）的方法（30）。所述深度神经网络（10）具有多个层（12）和带有权重的连接（13），并且在所创建的神经网络中的所述权重可只取来自离散值的可预先给定的列表的可预先给定的离散值，所述方法包括步骤：针对所述深度神经网络（10）提供至少一个训练输入变量；测定表征成本函数的变量，所述表征成本函数的变量包括第一变量，所述第一变量表征所述深度神经网络的根据所提供的训练输入变量来测定的输出变量与可预先给定的标称输出变量的偏差，并且其中所述表征成本函数的变量此外还包括至少一个惩罚变量，所述惩罚变量表征权重之一的值与可预先给定的离散值中的至少两个可预先给定的离散值中的至少一个的偏差；训练所述深度神经网络（10）。本发明此外还涉及一种计算机程序和一种用于实施根据本发明的方法（30）的设备，并且涉及一种机器可读的存储元件，在所述机器可读的存储元件上存储有计算机程序。

技术领域

本发明涉及一种用于创建深度神经网络的方法、一种计算机程序和一种设备，所述计算机程序和所述设备分别设立来实施所述方法。

背景技术

US 5,119,469公开了一种神经网络系统，该神经网络系统具有多个突触（Synapse），并且具有用于设定（Einstellen）每个突触的权重的自适应权重电路（Gewichtsschaltung）。利用一系列训练数据，通过系统性设定权重，逐渐地训练该神经网络系统，用于进行模式识别。

发明内容

本发明的优点

与此相对照，具有独立权利要求1的特征的方法有如下优点：测定（ermitteln）深度神经网络的连接的权重，使得这些权重取来自具有离散值的列表的可预先给定的离散值。通过所创建的深度神经网络的权重的离散值，可以实现减少用于存放深度神经网络所需的存储位置。因为权重可以例如依据来自该列表的离散值的索引而被存放。借此，不再必须单个地以高精度来存放每个权重的每个值，而是分别仅存放权重的值的索引和具有离散值及其索引的可预先给定的列表就足够了。这导致，所创建的深度神经网络具有较小的存储位置需求。此外，借助该方法实现对深度神经网络的表示（Darstellung）的压缩。因为所创建的深度神经网络的权重的值不再是连续的，而是权重可以只取一定数目的可预先给定的离散值。这导致，深度神经网络通过较小数目的不同的权重来表征，并且可以实现经过压缩的表示。该方法的另一优点是，由于权重的离散值，在利用分配律的情况下可以减小运算操作（尤其是乘法）的数目，所述运算操作必须被执行，以便测定深度神经网络的输出变量。由于权重的值可以只取可预先给定的不同的离散值，所以具有相同离散值的权重可以借助分配律而被排除，由此乘法的数目和用于测定结果的计算开销可以显著地被减小。

本发明的公开

在第一方面，本发明涉及一种用于创建深度神经网络的方法。该深度神经网络具有多个层和带有权重的连接。在所创建的深度神经网络中的权重可以只取来自离散值的可预先给定的列表的可预先给定的离散值。该方法包括下列步骤：

- 针对深度神经网络提供至少一个训练输入变量。

- 测定表征成本函数的变量。表征成本函数的变量在此包括第一变量，该第一变量表征深度神经网络的根据所提供的训练输入变量来测定的输出变量距可预先给定的标称输出变量（Soll-Ausgangsgroesse）的偏差。此外，表征成本函数的变量包括至少一个惩罚变量，所述至少一个惩罚变量表征权重之一的值与可预先给定的离散值中的至少两个可预先给定的离散值中的至少一个的偏差。

- 训练深度神经网络，使得深度神经网络根据该深度神经网络的训练输入变量来探测对象。在训练深度神经网络时，根据表征成本函数的变量来适配（anpassen）权重之一的至少一个值。

- 将权重的值分别映射到包含在可预先给定的列表中的离散值。该方法的优点是：依据权重的离散值，可以以经过压缩的方式存储所产生的深度神经网络；并且可以高效地执行用于测定深度神经网络的输出变量的运算操作。