[发明专利]融合多头注意力机制的多任务学习情感分类方法

说明书

本发明公开了一种融合多头注意力机制的多任务学习情感分类方法，该方法使用适用于重要特征提取的多头注意力机制和改善分类泛化性的多任务学习来提高情感分类性能。使用多头注意力机制对分批次输入的句子序列进行特征提取，得到每条语句的预分类标签。使用由长短期记忆网络联合逐点卷积神经网络构成的编码器对分批次输入的句子序列进行编码，将预分类标签作为辅助标签帮助构建多任务情感分类器。设计新的损失函数项加入到原有的损失函数中，经过多轮训练，动态地优化模型参数，即得到最优的情感分类模型，利用该模型可对评论文本进行情感分类。该方法在准确率、F1值评测指标上均优于采用传统多任务学习方法，适用于不同的下游任务和预测场景。

技术领域

本发明涉及自然语言处理领域，更具体的说，涉及一种融合多头注意力机制的多任务学习情感分类方法。

背景技术

互联网经济的发展和大数据时代的到来，为电子商务快速发展提供了强劲动力，大量电商平台涌入市场。电子商务、社交应用、数字内容相互融合，社交电商模式拓展了电子商务业务，为网民的线上购物提供了强有力的支持。相对于可以真实测评的线下购物，网络购物由于本身的虚拟化，信息良莠不齐，购物带有一定的风险性。网民往往无法真实地了解到商品的真实质量和规格等等，容易造成一定的财产损失和因为退换货造成的时间资金上的浪费等。商品线上评论对于消费者决定是否购买商品而言，是及其重要的一项信息来源，消费者可以通过在线评论了解商品的真实完整信息、建立对商品的整体感知。商品评论表达了已经购买过此商品或服务的消费者使用商品过程中所表现出来的各种情感。这些情感对于潜在的购买者来说，具有很大的参考价值。因此，从庞大的网络商品评论数据中抽取人们的情感信息来进行分类具有重要的商业价值和研究意义。

传统基于情感词典的方法，是通过设计一系列规则，让机器通过学习来记忆一些基本词汇，构建一个基本的情感词典。在缺乏大量训练数据集的情况下，基于词典与规则的方法相对能取得较好的分类结果且易于理解，但仍旧存在高度依赖情感词典的构建以及规则的设计、难以应对隐含的情感内容、跨领域情感分析的分类效果不佳的局限。而基于机器学习的方法，如最大熵、支持向量机(SVM)、朴素贝叶斯(Nb)、深度森林(DF)等，分类精确度往往依赖于大规模高质量的标注训练集，这些数据需要较高的人工成本，人为主观的数据标注结果也会影响分类效果。伴随着深度学习在自然语言处理领域的发展与应用，CNN和LSTM可以学习文本更深层次的信息，丰富文本的特征表示，提高情感分类的准确率，被许多研究者学习和关注。由于在模型中引入多任务学习框架具有提升任务性能的优点，引发了许多研究者的关注，多任务学习在自然语言处理(NLP)领域也取得了良好的进展。

在已有的用于情感分类的多任务学习模型中，往往需要提前将文本数据按照一定依据进行人为划分，如根据商品类型、属性、价格等。这种人工对评论文本进行领域分类的方式具有一定的局限性：一方面，工作量庞大，在实际工作中难以实现；另一方面，容易受人脑主观意识的影响，导致判断失误，且不一定被算法模型接受和认可，分类的结果也未必准确。

发明内容

针对上述问题，本发明提出一种融合多头注意力机制的多任务学习情感分类方法，可以用来解决处理多领域商品评论数据的人工划分工作量大、划分规则单一且不一定被算法接受的问题，从而提升情感分类的准确率。

本发明提供了一种融合多头注意力机制的多任务学习情感分类方法，包括以下步骤：

1)收集整理来自多个领域的商品评论数据，每条评论文本都有对应的情感极性标签：0或1，0代表消极情绪，1代表积极情绪；对文本数据进行预处理；

2)将预处理后的每种领域的商品评论，按照8:1:1的比例划分为训练集、验证集和测试集，正负样本分布均匀，随后进行文本初始化，从而得到词向量矩阵；

3)将词向量矩阵分批次输入多头注意力机制中进行特征提取，经过全连接层对特征提取后的结果进行线性变换操作，由SoftMax激活函数得到最终表示，从而构建文本分类器；取最终表示中的最大特征作为分类结果，得到每条语句的预分类标签；