[发明专利]模型生成方法和装置

说明书

本公开实施例公开了模型生成方法和装置。该方法的具体实施方式包括：向至少两个处理器中的处理器，发送训练样本集中的训练样本子集，其中，处理器用于：基于待训练模型和接收到的训练样本子集，前向传播确定待训练模型的实际输出；对于该至少两个处理器中的处理器，获取该处理器确定的待训练模型的实际输出；基于所获取的实际输出，进行反向传播，确定待训练模型中预先指定的第一网络参数对应的第一梯度；根据该第一梯度，更新该第一网络参数。该实施方式提供了新的模型生成方式。

技术领域

本公开实施例涉及计算机技术领域，具体涉及模型生成方法和装置。

背景技术

随着人工智能的发展，基于神经网络的模型在越来越多的场景中发挥作用。神经网络可以指人工神经网络(Artificial Neural Network，ANN)。神经网络通常是一种运算模型，由大量的节点(或称神经元)之间相互连接构成。每个节点可以代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。

发明内容

本公开实施例提出了模型生成方法和装置。

第一方面，本公开实施例提供了一种模型生成方法，该方法包括：向至少两个处理器中的处理器，发送训练样本集中的训练样本子集，其中，处理器用于：基于待训练模型和接收到的训练样本子集，前向传播确定待训练模型的实际输出；对于该至少两个处理器中的处理器，获取该处理器确定的待训练模型的实际输出；基于所获取的实际输出，进行反向传播，确定待训练模型中预先指定的第一网络参数对应的第一梯度；根据该第一梯度，更新该第一网络参数。

在一些实施例中，该第一网络参数包括批量归一化层中的网络参数。

在一些实施例中，该至少两个处理器中的处理器还用于：基于该处理器确定的实际输出，进行误差反向传播，确定待训练模型中预先指定的第二网络参数对应的第二梯度。

在一些实施例中，该方法还包括：对于该至少两个处理器中的处理器，获取该处理器确定的第二梯度；根据所获取的第二梯度，更新该第二网络参数。

在一些实施例中，处理器还用于：采用第一精度类型的数据进行前向传播计算；采用第二精度类型的数据进行反向传播计算，其中，上述第一精度类型和上述第二精度类型不同。

在一些实施例中，该第一精度类型或者第二精度类型为半精度类型。

在一些实施例中，该根据该第一梯度，更新该第一网络参数，包括：采用第二精度类型的数据进行反向传播，确定待训练模型中预先指定的第一网络参数对应的第一梯度。

第二方面，本公开实施例提供了一种模型生成装置，该装置包括：发送单元，被配置成向至少两个处理器中的处理器，发送训练样本集中的训练样本子集，其中，处理器用于：基于待训练模型和接收到的训练样本子集，前向传播确定待训练模型的实际输出；第一获取单元，被配置成对于该至少两个处理器中的处理器，获取该处理器确定的待训练模型的实际输出；确定单元，被配置成基于所获取的实际输出，进行反向传播，确定待训练模型中预先指定的第一网络参数对应的第一梯度；第一更新单元，被配置成根据该第一梯度，更新该第一网络参数。

在一些实施例中，该第一网络参数包括批量归一化层中的网络参数。

在一些实施例中，该至少两个处理器中的处理器还用于：基于该处理器确定的实际输出，进行误差反向传播，确定待训练模型中预先指定的第二网络参数对应的第二梯度。

在一些实施例中，该装置还包括：第二获取单元，被配置成对于该至少两个处理器中的处理器，获取该处理器确定的第二梯度；第二更新单元，被配置成根据所获取的第二梯度，更新该第二网络参数。