[发明专利]一种多任务学习模型训练的方法及相关装置

说明书

本申请公开了一种多任务学习模型训练的方法及相关装置，该方法包括：相互关联的多个目标任务的训练数据输入多任务深度神经网络中多个深度神经网络共享的编码层获得训练数据的语句向量；根据训练数据的目标任务标识将训练数据的语句向量输入对应的深度神经网络的解码层获得训练数据的训练结果；基于训练数据的训练结果、训练数据的标记结果训练多任务深度神经网络获得目标多任务学习模型。可见，采用多任务深度神经网络进行多个目标任务的机器学习，多个目标任务之间相互帮助、共同学习，充分挖掘多个目标任务之间丰富的关联信息，大大提升模型的泛化效果，避免模型出现过拟合现象；且多任务学习集中部署减少机器资源消耗，降低机器成本。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种多任务学习模型训练的方法及相关装置。

背景技术

随着科技的快速发展，机器学习应用于各个领域，例如，输入法领域。一般地，机器学习应用于输入法领域是单任务学习，即，一次机器学习只学习一个单独的任务。例如，输入法领域中输入联想、智能回复或智能纠错等是一个单独的输入法功能，每个输入法功能被当作一个单独的任务进行机器学习，即，输入联想任务、智能回复任务或智能纠错任务等均是单任务学习。

但是，发明人经过研究发现，输入法领域中某些当作单独的任务的输入法功能之间存在关联性，例如，输入联想、智能回复和智能纠错等均是基于历史输入内容进行推荐的输入法功能，则输入联想任务、智能回复任务和智能纠错任务等这些任务是相互关联的任务。相互关联的任务分别进行单任务学习，往往忽略了这些任务之间丰富的关联信息，影响单任务学习得到的模型泛化效果，导致单任务学习得到的模型容易过拟合；且任务部署时单独的任务需要单独部署在单台机器上，单独的任务较多时需消耗较多机器资源，机器成本过高。

发明内容

本申请所要解决的技术问题是，提供一种多任务学习模型训练的方法及相关装置，充分挖掘多个目标任务之间丰富的关联信息，大大提升模型的泛化效果，避免模型出现过拟合现象；且多任务学习集中部署减少机器资源消耗，降低机器成本。

第一方面，本申请实施例提供了一种多任务学习模型训练的方法，应用于安装输入法应用程序的设备，该方法包括：

将相互关联的多个目标任务的训练数据输入多任务深度神经网络的共享编码层获得所述训练数据的语句向量，所述共享编码层是指所述多任务深度神经网络中多个深度神经网络共享的编码层；

基于所述训练数据的目标任务标识将所述训练数据的语句向量输入对应的深度神经网络的解码层获得所述训练数据的训练结果；

基于所述训练数据的训练结果、所述训练数据的标记结果训练所述多任务深度神经网络获得目标多任务学习模型。

可选的，所述共享编码层包括共享词向量层和共享语句向量层，所述将相互关联的多个目标任务的训练数据输入多任务深度神经网络的共享编码层获得所述训练数据的语句向量，包括：

将所述多个目标任务的训练数据输入所述多任务深度神经网络的共享词向量层获得所述训练数据对应的词向量；

将所述训练数据对应的词向量输入所述多任务深度神经网络的共享语句向量层获得所述训练数据的语句向量。

可选的，所述训练的方法包括深度学习反向传播算法和Adam优化算法。

可选的，所述基于所述训练数据的训练结果、所述训练数据的标记结果训练所述多任务深度神经网络获得目标多任务学习模型，包括：

基于所述训练数据的训练结果、所述训练数据的标记结果获得对应的深度神经网络的损失函数；

根据所述损失函数更新所述多任务深度神经网络的网络参数获得所述目标多任务学习模型。