[发明专利]深度学习模型训练方法及装置

说明书

本申请公开了一种深度学习模型训练方法及装置，涉及人工智能领域。具体实现方案为：服务器接收到终端设备发送的训练请求后，响应该训练请求，对数据集中的样本进行m轮训练，训练过程中，不断的更新数据集中各样本的软化标签，从而得到新的数据集，进而利用该新的数据集进行下一轮的训练。采用该种方案，通过同时学习深度学习模型和软化标签，得到泛化能力强的深度学习模型，实现提高深度学习模型准确度的目的。

技术领域

本申请实施例涉及人工智能(Artificial Intelligence，AI)技术领域，尤其涉及一种深度学习模型训练方法及装置。

背景技术

目前，越来越多的云服务器厂商提供深度学习模型训练平台，用户在深度学习模型训练平台能够使用不同的深度学习框架进行大规模的训练，以训练得到期望的深度学习模型，如语音识别模型、图片分类模型等。

通常情况下，深度学习模型训练平台在训练深度学习模型时，需要用到的特征包括数据集中每个样本的标签(label)。具体的，将数据集中每个样本的“独热码”作为对应样本的原始标签，对该些原始标签进行标签平滑(label Smoothing)处理，得到各样本的软化标签，进而利用该些软化标签进行深度学习模型训练。其中，软化标签是按照固定的公式直接静态生成。

上述通过静态方式生成软化标签的过程，对数据集中样本之间的异同性利用不足，导致采用该些软化标签训练得到的深度学习模型过拟合，即训练出的深度学习模型只能针对同一规律的样本，无法适应其他规律的新鲜样本，导致深度学习模型准确度低。

发明内容

本申请实施例提供了一种深度学习模型训练方法及装置，通过同时学习深度学习模型和软化标签，得到泛化能力强的深度学习模型，实现提高深度学习模型准确度的目的。

第一方面，本申请实施例提供一种深度学习模型训练方法，服务器接收到终端设备发送的训练请求后，响应该训练请求，对数据集中的样本进行m轮训练，训练过程中，不断的更新数据集中各样本的软化标签，从而得到新的数据集，进而利用该新的数据集进行下一轮的训练。采用该种方案，通过同时学习深度学习模型和软化标签，得到泛化能力强的深度学习模型，实现提高深度学习模型准确度的目的。

第二方面，本申请实施例提供一种深度学习模型训练装置，包括：

输入输出单元，用于接收终端设备发送的训练请求，所述训练请求用于请求训练人工智能深度学习模型；

处理单元，用于根据所述训练请求，利用数据集中的样本对深度学习模型进行m轮训练，其中，所述m轮训练中任意相邻的两轮训练中，后一轮训练的输入是利用前一轮训练的训练结果对所述数据集中各样本的软化标签进行更新得到的，所述m≥2且为整数。

第三方面、本申请实施例提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第一方面任意可能实现的方法。

第四方面，本申请实施例提供一种包含指令的计算机程序产品，当其在电子设备上运行时，使得电子设备计算机执行上述第一方面或第一方面的各种可能的实现方式中的方法。

第五方面，本申请实施例提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述电子设备执行上述第一方面或第一方面的各种可能的实现方式中的方法。

第六方面，本申请实施例提供一种深度学习模型训练方法，包括：将用于第x-1轮训练的数据集输入至第x-1轮深度学习模型，以得到第x-1个数据集，所述数据集是所述第x-1轮训练的输入，对所述第x-1数据集中的样本进行模型训练，以得到第x轮深度学习模型。