[发明专利]一种神经网络模型的训练方法及装置

说明书

本申请公开了一种神经网络模型的训练方法及装置。所述方法应用于终端设备，所述终端设备包括用于处理业务的第一神经网络模型和第二神经网络模型，所述第一神经网络模型的精度小于所述第二神经网络模型的精度；所述方法包括：获取所述终端设备在设定周期内生成的所述业务的标注数据；使用所述设定周期内生成的所述业务的标注数据对所述第二神经网络模型进行训练，得到训练后的第二神经网络模型；根据所述训练后的第二神经网络模型，对所述第一神经网络模型进行更新。本申请实施例中由于是根据终端设备生成的标注数据进行训练，从而使得更新后的第一神经网络模型相比于通用模型来说，推理结果的可信度更高，更能满足用户的个性化需求。

技术领域

本发明涉及计算机技术领域，特别涉及一种神经网络模型的训练方法及装置。

背景技术

人工智能(artificial intelligence，AI)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。基于人工智能的神经网络模型是一种模拟大脑结构的机器学习模型。在机器学习领域，神经网络经常被用来对较复杂的任务建模。神经网络的规模，包括深度和宽度都是可以调节的，视应用领域和问题规模而定。因为神经网络超强的表达能力，在语音识别、图像识别、自然语言处理、广告投放等应用领域被广泛应用。

神经网络模型的结构包括多层，第一层是输入层，最顶上一层是输出层，中间包括零个或者多个隐含层，每一层包括一个或多个节点。输入层规模根据输入变量的数量决定，输出层规模则取决于类别数目。隐含层包括多个神经元，调整神经元数量就可以调整神经网络模型的复杂度和表达能力。一般来说，神经网络越宽越深，其建模能力越强，但是训练这个模型所花的代价也越高。神经网络模型的训练过程，是根据训练样本的输入和输出，以迭代的方式对神经网络中的各个参数值进行调整直至收敛的过程，也被称为神经网络的学习过程。

在神经网络模型的实际应用中，通常在云端训练复杂的神经网络模型，达到预定的精度要求，比如32位单精度浮点(32-bit single precision floating point，FP32)，然后针对终端设备特性的要求，进行精度、内存、实时性、功耗等优化后，生成可在终端设备侧独立运行的离线神经网络模型模型。然而，基于云端训练的神经网络模型生成的离线神经网络模型为通用模型，往往无法满足用户的个性化需求。

发明内容

本申请实施例提供一种神经网络模型的训练方法，用于解决现有技术中基于云端训练的神经网络模型生成的离线神经网络模型为通用模型，无法满足用户的个性化需求的技术问题。

第一方面，本申请实施例提供一种神经网络模型的训练方法，所述方法应用于终端设备，所述终端设备包括用于处理业务的第一神经网络模型和第二神经网络模型，所述第一神经网络模型的精度小于所述第二神经网络模型的精度；所述方法包括：

获取所述终端设备在设定周期内生成的所述业务的标注数据；

使用所述设定周期内生成的所述业务的标注数据对所述第二神经网络模型进行训练，得到训练后的第二神经网络模型；

根据所述训练后的第二神经网络模型，对所述第一神经网络模型进行更新。

根据上述内容可知，基于终端设备在设定周期内生成的业务的标注数据，对精度较高的第二神经网络模型进行更新，进而实现对第一神经网络模型的更新；一方面，由于第二神经网络模型的精度较高，因此，先对第二神经网络模型进行训练，并根据训练好的第二神经网络模型对第一神经网络模型进行更新，能够使得训练效果更为明显有效；另一方面，由于是根据终端设备生成的标注数据进行训练，从而使得更新后的第一神经网络模型相比于通用模型来说，推理结果的可信度更高，更能满足用户的个性化需求。