[发明专利]用于分析神经网络参数集合的方法

说明书

本公开涉及用于分析神经网络参数集合的方法。一种方法可以与神经网络一起使用，神经网络由具有耦合到存储器组的计算单元的系统来实现。方法包括对限定初始多层神经网络的初始参数集合进行分析。分析包括尝试缩减初始参数的初始存储器尺寸，以获得经修改的参数集合，经修改的参数集合限定相对于初始网络而言的经修改的神经网络。

相关申请的交叉引用

本申请要求于2018年11月29日提交的法国专利申请号1872036的优先权，由此该申请通过引用并入本文。

技术领域

本发明的实现模式和实施例涉及用于对神经网络的参数集合进行分析的方法。

背景技术

神经网络被大量用于解决各种统计学问题，尤其是数据分类问题。

在通常受到监督的自动学习阶段之后，即，在已分类的参考数据库上，神经网络“学习”并能够自己将相同的分类应用于未知数据。

可以引用卷积神经网络或CNN，它们表示其中神经元之间的连接模式受到动物视觉皮层的启发的神经网络类型。它们允许高效识别图像或视频中的对象或人物。

神经网络的架构通常包括一系列层，其中每个层在前一层的输出上取得其输入。

输出数据(“特征”)存储在具有先前限定尺寸的存储器区域中。

针对每一层，输入数据乘以给定值的至少一个权重。

“权重”是在神经网络领域中的含义为本领域技术人员所熟知的术语，“权重”是指可以配置来获得良好输出数据的神经元参数。

通过在训练数据库上训练神经网络，来确定该权重。更精确地，假设图像的类别先前已知，神经网络对例如从数据库中提取的图像进行处理，并在输出处神经网络做出预测，即，图像可以属于哪个类别。

根据该结果的真实性，神经网络的所有权重均根据被称为梯度反向传播的算法进行更新。

通常，每一层的输出数据和权重以例如32比特的浮点表示，从而可以使得神经网络在预测方面的性能更好。

每一层的输出数据和权重还可以以例如16比特或8比特的固定点表示。

“浮点”是指以符号、尾数和指数来表示数。

“固定点”是指利用在点之后的固定数目的数字来表示数。

因此，分配给固定点表示的存储器区域小于分配给浮点表示的存储器区域。

通常，由于计算的准确度降低，因此存储器尺寸越小，神经网络在关于预测的性能方面损失就越大。

如今，神经网络更加复杂，并需要大的计算能力。

每秒指令是测量系统(例如，微处理器)性能的单位。

对于给定的微处理器，神经网络的配置越复杂，进行推断(即，神经网络的所有层的执行)所需的时间就越多。

此外，存储神经网络的系统的微处理器通常针对以(例如，16比特或8比特的)固定点表示的数据进行优化。

发明内容

本发明的实现模式和实施例涉及深度学习，并且更具体地涉及深度神经网络。

因此，在可能的范围内，需要能够提供在不降低性能或至少在可接受的范围内降低性能的情况下，在微处理器上实现复杂的神经网络。

因此，提出向神经网络的用户提供能够根据该用户优先选择的标准来决定是否可以修改或调整神经网络的某些参数(例如，权重和/或输出数据的尺寸)的能力，以例如在处理器级别获得存储器方面的增益或性能中的增益(例如，处理时间中的增益)，同时保留如此修改的神经网络的良好性能。