[发明专利]一种基于RNN的多任务学习方法

摘要

本发明提供了一种基于RNN的多任务学习方法，所述方法包括以下步骤：步骤S1：初始化系统参数θ＝(W,U,B,V)；步骤S2：输入样例x1,i,…,xR,i，学习公有信息Xco,将公有信息补偿到单个任务的训练中；步骤S3：计算每个神经网络的预测标签向量输出计算任务r的损失Lr,i；步骤S4：根据梯度下降法和BPTT算法求解θ＝(W,U,B,V)的梯度，确定任务r关于公有信息Xco的梯度；步骤S5：确定学习率η，更新各权值梯度W＝W‑η·δW；步骤S6：判断神经网络是否达到稳定，如果是执行步骤S7；如果否，返回步骤S2，迭代更新模型参数；步骤S7：输出优化模型。本发明能有效利用RNN学习多任务之间的公有特征，并把公有特征输入到单个任务的学习中，实现信息共享。并通过在RNN中引用GRU结构，能有效地解决梯度消失问题。

主权项

1.一种基于RNN的多任务学习方法，其特征在于，所述方法包括以下步骤：步骤S1：初始化系统参数θ＝(W,U,B,V)，其中，W表示神经网络层与层之间连接的权值矩阵；U表示数据在输入神经网络时的权值矩阵；B表示神经网络层与层之间的偏置矩阵；V表示神经网络隐藏层到softmax层的权值矩阵；步骤S2：输入样例x1,i,…,xR,i，学习公有信息Xco,将公有信息补偿到单个任务的训练中；步骤S3：计算每个神经网络的预测标签向量输出计算任务r的损失L_r,i；步骤S4：根据梯度下降法和BPTT算法求解θ＝(W,U,B,V)的梯度，确定任务r关于公有信息Xco的梯度；步骤S5：确定学习率η，更新各权值梯度W＝W‑η·δW，其中，δW表示在神经网络反向传播时，通过梯度下降法得到的权值矩阵的偏导数；步骤S6：判断神经网络是否达到稳定，如果是执行步骤S7；如果否，返回步骤S2，迭代更新模型参数；步骤S7：输出优化模型。