[发明专利]数据处理的方法、电子设备和存储介质

说明书

本公开的实施例提供了数据处理的方法、设备和存储介质，涉及人工智能领域。本申请的数据处理方法中，数据处理设备获取用于指示神经网络模型的高阶信息矩阵的克罗内克因子矩阵；对克罗内克因子矩阵进行切分以得到多个方阵，其中，切分出的多个方阵为克罗内克因子矩阵的子矩阵，并且该多个方阵的主对角线一一与克罗内克因子矩阵主对角线的一部分对应；再基于得到的多个方阵，调整神经网络模型的参数。这样，基于切分出的方阵而不是直接基于克罗内克因子矩阵来调整该神经网络模型的参数，可以降低训练模型所需的时间成本。

技术领域

本公开的实施例主要涉及计算机技术领域，并且更具体地，涉及用于数据处理的方法、装置、电子设备以及计算机可读存储介质。

背景技术

随着计算机技术的不断发展，深度学习技术已经被应用到各种各样的领域。目前，深度学习在许多应用领域都表现出了优异的性能，例如图像识别、目标检测和自然语言处理等领域。

深度学习模型的训练已经成为当前关注的焦点。针对深度学习模型的常用优化算法包括一阶优化算法(例如，梯度下降算法)和高阶优化算法(例如，自然梯度算法)。一阶优化收敛速度较差。相比而言，高阶优化算法通常能够带来更好的训练精度，然而却需要更大的时间成本。

发明内容

本公开的实施例提供了一种数据处理的方案。

在本公开的第一方面，提供了用于数据处理设备的方法。该方法包括：获取用于指示神经网络模型的高阶信息矩阵的克罗内克因子矩阵，高阶信息矩阵用于校正神经网络模型的一阶梯度；对克罗内克因子矩阵进行切分以得到多个方阵，使得多个方阵为克罗内克因子矩阵的子矩阵，多个方阵的主对角线一一与克罗内克因子矩阵主对角线的一部分对应；以及基于多个方阵，调整神经网络模型的参数。

在本公开中，高阶信息矩阵是指在神经网络模型的训练过程中产生的用于校正模型的一阶倒数的矩阵，例如海森矩阵、费舍矩阵和二阶矩矩阵等。克罗内克因子矩阵是指对高阶信息矩阵进行克罗内克分解所获得的一对矩阵，该对对阵的克罗内克乘积等于高阶信息矩阵。

在本公开中，可以按照预定的切分维度以沿克罗内克因子矩阵的主对角线进行切分，以获取多个秩等于切分维度的方阵。在一些情况下，当克罗内克因子矩阵的秩能够被切分维度整除时，克罗内克因子将被切分为整数个具有相同秩的方阵。在另一些情况下，当克罗内克因子矩阵的秩不能被切分维度整除时，克罗内克因子将被切分为整数个具有相同秩的方阵以及一个或多个秩小于切分维度的方阵。

基于这样的切分，多个方阵的主对角线一一与克罗内克因子矩阵主对角线的一部分对应，也即，多个方阵的所有主对角线上的元素将包括克罗内克因子矩阵的主对角线上所有的元素。另外，该多个方阵中秩大于1的方阵也包括该克罗内克因子矩阵中的其他元素，这些元素是该克罗内克因子矩阵中临近主对角线的元素。

另外，本公开中的数据处理设备，是具有AI数据计算能力的设备，可以是终端设备也可以是网络设备。

通过这样的方式，本公开的实施例将克罗内克因子矩阵转换为多个小的方阵的近似，从而大大降低了运算的时间复杂度，从而降低了模型训练的时间成本。

在第一方面的某些实现方式中，数据处理设备包括用于执行调整的计算资源，并且其中对克罗内克因子矩阵进行切分包括：基于计算资源的资源标识和神经网络模型的模型标识对克罗内克因子矩阵进行切分。

在一些实施例中，模型标识可以是指示神经网络模型的类型的标识信息，例如“resnet50”可以指示神经网络模型为50层的深度残差网络(ResNet)。模型标识的示例还可以包括“resnet18”、“resnet101”、“VGG16”、“LeNet5”等等。附加地，资源标识可以是指示计算资源的型号的标识信息，例如芯片名称，芯片代号、芯片种类编号甚至芯片所在的设备的标识都可以用作资源标识。作为示例，资源标识可以是用于训练神经网络模型的AI芯片的具体型号，例如“GPU V100”。备选地，资源标识也可以是计算资源的唯一标识，例如，计算资源的MAC地址等。