[发明专利]一种基于多源领域适应联合学习的跨领域文本情感分类方法

权利要求书

1.一种基于多源领域适应联合学习的跨领域文本情感分类方法，其特征在于，包括以下步骤：

S1，多源领域适应联合学习中迁移多个源领域任务Task_Sk(1≤k≤K)的情感知识，并利用目标领域带标签数据D_L，同时学习源领域任务Task_Sk和目标领域任务Task_T，得到假设目标是最小化经验损失提高目标领域任务上的分类效果；

S2，构建特定领域的深度特征提取模型，使用在无监督语料上得到的预训练词向量作为深度特征提取模型的输入，同时词向量在针对特定的任务时调整；

步骤S2还包括：

S21，输入为文本的词序列x＝{x₁,x₂,…x_n}，n为词的个数，其中x_i∈R^d为第i-th个词的嵌入式表示，d为词向量的维度；

S22，门循环单元细胞包含更新门z_t，重置门r_t，候选门和输出h_t；

S23，双向门循环单元包含正向和反向两个隐层，两个方向的结果联合到最终的输出，

其中，为t时刻正向门循环单元输出，x_t为t时刻输入，为t-1时刻正向门循环单元输出，GRU为门循环单元，为t时刻逆向门循环单元输出，为t-1时刻逆向门循环单元输出，h_t为双向门循环单元输出；

S24，双向门循环单元的输出序列h＝{h₁,h₂,…h_n}作为卷积神经网络的输入，在卷积神经网络中，输入层双向门循环单元生成的特征向量自顶向下排列生成的矩阵W∈R_n×d，在卷积层中，卷积的窗口大小为N元语法，x_i:i+m-1代表m个词，即词x_i，x_i+1，和x_i+m-1；

S25，新的特征g_i由x_i:i+m-1生成，g_i＝ReLU(e^T·x_i:i+m-1+b)，其中，ReLU为线性单元激活函数，e∈R_m×d为卷积核，b∈R为偏置项，得到卷积矩阵g＝[g₁,g₂…g_n-h+1]；

S26，在池化层，使用最大池化方法对卷积层得到的特征映射抽取最大值，池化层输出为每个特征映射g的最大值，即最终l个卷积核得到的特征向量为不仅抽取出了句子中的情感信息，还保持了顺序信息；

S27，在情感分类阶段，在池化层后，输出的特征向量z通过全连接的方式被连接Softmax 层，

其中y为情感标签，w为全连接层的参数，z为卷积核得到的特征向量，为偏置项；

S3，为了预训练深度特征提取模型底层参数，使用源领域和目标领域的数据执行编码—解码操作初始化双向门循环单元网络的参数，编码解码的操作流程为x→C→h；

步骤S3还包括：

S31，为了预训练深度特征提取模型底层参数，使用源领域和目标领域的数据执行编码—解码操作初始化双向门循环单元网络的参数，编码通过双向门循环单元的非线性变换输入词序列x到语义表示C，解码操作的输出为h＝{h₁,h₂…h_n}，编码解码的操作流程为x→C→h；

S32，目标是最小化重构损失为

其中，X为词序列，h为解码输出，n为维度，在预训练双向门循环单元网络后，通过目标领域任务Task_T和源领域任务Task_Sk的带标签数据实现训练深度特征提取模型的参数；

S4，考虑到不同领域的情感分布的差异性，通过最小化参数迁移过程中的损失L_share实现情感知识的迁移，目标是迁移源领域的知识到目标领域的特征表示中；

步骤S4还包括：

S41，定义软参数共享的损失为

其中W_T(BiGRU)和W_T(ConvNets)分别是在目标领域任务Task_T中双向门循环单元和卷积神经网络的参数,W_Sk(BiGRU)和W_Sk(ConvNets)分别是在第k-th个源领域任务Tash_Sk中双向门循环单元和卷积神经网络的参数，为目标领域任务Softmax层的参数，是第k-th个源领域任务Softmax层的参数，为二范数；

S42，最小化损失项L_share减少不同领域的深度特征提取模型参数的差异，通过软参数共享，不仅得到源领域任务的情感表示，还通过参数调整和联合训练得到目标领域任务的共享表示；

S5，在源领域任务和目标领域任务上的整体情感损失为ε为权重参数；

步骤S5还包括：

S51，使用交叉熵损失函数作为损失函数，在源领域任务Task_Sk上的损失函数为

其中，n为源领域的样本数，C_Sk为源领域的标签数，是真实标签，为预测标签；

S52，在目标领域任务Task_T上的损失函数为

其中，N为目标领域的样本数，C_T为目标领域的标签数，是真实标签，为预测标签；

S53，在源领域任务和目标领域任务上的整体情感损失为

S6，源领域任务Task_Sk的特征表示记为R_Sk，目标领域任务Task_T的特征表示记为R_T，经过核希尔伯特空间映射后源领域任务和目标领域任务的分布相似，即R_Sk≈R_T；

步骤S6还包括：

S61，源领域任务和目标领域任务Task_T的分布距离为

其中，为领域的中心，为领域第c类的类中心， Center(D_T)为领域D_T的中心，为领域D_T第c类的类中心；

S62，源领域和目标领域D_T的距离适应性损失定义为

其中，为源领域中样本的个数，|D_T|为目标领域D_T中样本的个数；X→H为非线性变换，H为核希尔伯特空间；为源领域任务中标签的个数，C_T为目标领域任务中标签的个数；

S63，源领域和目标领域间的领域融合损失记为

S7，定义联合损失函数L＝L_sen+λL_share+ηL_domain+σReg，优化学习的目标函数是和参数集更新策略；

步骤S7还包括：

S71，为提高深度特征提取模型的泛化性和防止过拟合，设计正则项Reg如下：

S72，设计总的损失函数如下：

L＝L_sen+λL_share+ηL_domain+σReg

其中λ为参数共享损失的权重，η为领域融合损失的权重，σ为正则项的权重；

S73，基于以上定义的损失函数，使用多个源领域任务和目标领域任务中的带标签数据对多源领域适应联合学习深度特征提取模型进行联合训练，优化的目标是

深度特征提取模型的参数集记为θ，包含W_T(BiGRU)、W_Sk(BiGRU)、W_T(ConvNets)、W_Sk(ConvNets)、和

S74，为了实现后向传播过程，参数通过随机梯度下降的方法进行更新和训练：

其中μ为学习率；

S75，参数集θ的更新策略为

联合学习的目标是最小化损失函数并得到此时最优的参数集θ_opt，

其中，和为目标领域任务Task_T中双向门循环单元网络和卷积神经网络在第t+1次迭代的参数，和为双向门循环单元网络和卷积神经网络在第t次迭代的参数；

对于k＝1,2…K，

其中，和为在源领域任务中双向门循环单元网络和卷积神经网络在第t+1次迭代的参数，和为双向门循环单元网络和卷积神经网络在第t次迭代的参数；

其中，和分别为目标领域任务Task_T和源领域任务在第t+1次迭代的参数，和分别为在第t次迭代的参数；

S76，损失函数的偏导数如下：

S8，对于每个源领域任务和目标领域任务，对每个组合对(Task_Sk,Task_T)进行交替训练，通过以这种方式训练深度特征提取模型，提高每个任务的性能，而无需找到更多领域特定的训练数据，使用随机梯度下降法训练参数，使用迭代的方法获得最佳参数集θ_opt。