[发明专利]一种面向任务基于注意力机制的文本分类方法

说明书

本发明涉及一种面向任务基于注意力机制的文本分类方法，属于自然语言领域。本发明提出了任务信息和注意力机制相结合来优化现有的注意力机制，可以充分利用对应的任务信息，提高文本分类的效率，并且通过注意力机制来给每个向量分配适当的注意力权重，提高分类准确度。考虑到现阶段构建的文本模型往往是针对某个领域的文本进行分析，通过某一领域文本训练出的模型可能在另一领域分析精度下降，导致分类结果不尽人意的问题，因此本发明通过种子词库添加领域信息，将领域信息融入向量，可以提高模型在不同领域的泛化效果。

技术领域

本发明属于自然语言领域，涉及一种面向任务基于注意力机制的文本分类方法。

背景技术

文本分类是指按照一定的分类体系或规则对文本实现自动划归类别的过程，一般包括文本预处理、文本表示、特征提取、分类器训练等几个过程。文本分类具有不同的应用场景：包括问答分类、情感分类、垃圾邮件检测、主题分类等，不同的文本分类任务具有不同的任务特征，如何根据任务的特征挖掘文本的深层语义信息，提高文本分类的准确率，是目前研究的一个热点。

现有技术不足：

(1)基于注意力机制的深度学习算法对每个词分配的权重主要考虑上下文的语义，没有考虑特定任务的非语境的信息对输入文本注意力权重的影响。

(2)模型的泛用性问题，以情感分析为例，现阶段构建的情感分析模型往往是针对某个领域的文本进行分析,比如通过餐饮行业评价文本训练出的模型可能在微博短消息领域、影评领域不具有泛用性,其情感分析精度往往相差较大。

发明内容

有鉴于此，本发明的目的在于提供一种面向任务基于注意力机制的文本分类方法。解决基于注意力机制的文本分类方法没有融合特定任务信息的问题，根据特定任务信息对输入文本注意力权重进行调整，改进现有的注意力机制，提高分类结果准确性和模型的泛用性。

为达到上述目的，本发明提供如下技术方案：

一种面向任务基于注意力机制的文本分类方法，该方法包括以下步骤：

步骤一：在注意力机制中引入了任务信息权重对于每个输入x_i∈R^|V|都有其对应的独热嵌入，e_i∈R^|d|，其中i∈[1，...，t]表示序列中的位置，t表示序列长度，|V|表示词汇大小，d表示嵌入的维度；然后将e_i传递给编码器，以生成隐藏表示h_i＝Enc(e_i)，其中h_i∈R^N，N为隐藏表示的大小；随后获得整个文本序列x₁，…，x_t的向量表示c，整个输入的文本序列由h_i通过任务信息权重和注意力权重α_i加权得出：

步骤二：种子词库的构建；计算通过种子词库构建新的向量u∈R^|V|来估计词表里每个单词的标量权重；给定输入序列x＝[x₁，…，x_t]，对u进行查找，以获得序列中单词的标量权重；获得包含任务信息的每个输入的新的嵌入向量e_i是训练在大规模语料库上的嵌入向量；而追加一个系数u_i将e_i适配至特定任务上，得到更符合该任务的表示；由面向任务的嵌入求和得到：

对单词进行排序，并将排序前三的单词添加到种子词集中，对于给定的类C_j和单词w，基于以下方面来衡量其排名得分：