[发明专利]模型训练方法、装置、存储介质及电子设备

说明书

本申请公开一种模型训练方法、装置、存储介质及电子设备。其中，获取多个数据集；将多个数据集逐个输入初始多任务模型；其中，所述初始多任务模型包含模型参数，所述模型参数包含共享参数和任务参数；其中，所述共享参数为所述初始多任务模型中多个任务共有的模型参数，所述任务参数为所述初始多任务模型中多个任务中每个任务独有的模型参数；基于所述初始多任务模型的输出结果调整所述模型参数，得到训练后的多任务模型。本方法能够避免针对同一训练样本进行重复计算的问题，提高了训练效率，节省了计算资源。

技术领域

本公开涉及人工智能技术领域，特别是涉及一种模型训练方法、装置、存储介质及电子设备。

背景技术

深度学习在图像识别，语音识别，自然语言处理等相关领域都取得很多成果，但是由于深度学习模型计算复杂，效率低，如果对于一些相近的任务，往往都各自使用一个模型，无疑增加了计算量和资源占用。

发明内容

根据本公开的一个方面，提供以下技术方案：

一种模型训练方法，包括：

获取多个数据集；

将多个数据集逐个输入初始多任务模型；其中，所述初始多任务模型包含模型参数，所述模型参数包含共享参数和任务参数；其中，所述共享参数为所述初始多任务模型中多个任务共有的模型参数，所述任务参数为所述初始多任务模型中多个任务中每个任务独有的模型参数；

基于所述初始多任务模型的输出结果调整所述模型参数，得到训练后的多任务模型。

进一步地，根据所述初始多任务模型的输出结果计算损失函数的总损失值，并根据所述损失值对所述多任务模型的模型参数进行调整。

进一步地，若每个数据集的任务标签数量为一个，则将该任务标签对应的任务的损失值作为该数据集的损失值，其中，根据每个数据集的损失值计算得到损失函数的总损失值。

进一步地，每个数据集包含一个或多个任务标签，若所述数据集的任务标签数量为多个，则将多个任务标签对应的多个任务的损失值之和作为该数据集的损失值，其中，根据每个数据集的损失值计算得到损失函数的总损失值。

进一步地，所述总损失值为多个数据集对应的所有任务的损失值之和。

进一步地，多个数据集中的每个数据集对应的损失函数乘以c，其中，c为每个数据集占所有数据集的比重。进一步地，所述损失函数中还包含动态系数，其中，所述动态系数可根据当前模型训练自适应调整。

进一步地，将所述多个数据集按照第一顺序加载入数据加载器，并将加载入数据加载器中的数据集按照预设批数量进行划分。

进一步地，判断是否还存在下一批数据，其中，所述下一批数据为需要从数据加载器输出的数据；若有，则继续输出下一批数据。

进一步地，若没有，则所述多个数据集按照第二顺序加载入数据加载器，其中，所述第一顺序和所述第二顺序不同。

进一步地，将所述多个数据集中的部分数据集进行合并，得到多个合并后的数据集；将所述多个合并后的数据集逐个输入初始多任务模型。

进一步地，将带有相同任务标签的数据集进行合并。

进一步地，将带有相同任务标签比例大于合并阈值的数据集进行合并。

进一步地，将所述多个数据集中的部分数据集进行拆分，得到多个拆分后的数据集；将所述多个拆分后的数据集逐个输入初始多任务模型。

进一步地，将部分数据集按照任务标签随机拆分得到拆分后的数据集。根据本公开的另一个方面，还提供以下技术方案：

进一步地，包括：