[发明专利]基于自注意力机制方面术语提取系统、方法、介质、终端

说明书

本发明属于自然语言处理技术领域，公开了一种基于自注意力机制方面术语提取系统、方法、介质、终端，包括：词嵌入层利用词性标注工具进行语句中各个单词的词性，并输出句中每一个词的词性词向量表示；第一BiReGU层对句子每一个单词的前文信息和后文信息进行处理，挖掘上下文信息，计算隐藏状态；单词注意力计算层分配不同的权重，为句子的每个单词生成不同的权重向量，并加权求和得到上下文向量；第二BiReGU层基于得到的权重向量与词嵌入相结合进行全局特征信息的提取；全连接层对提取信息进行处理；CRF层进行方面术语的标记，提取得到相应的方面术语。本发明能够有效、准确的进行方面术语的提取。

技术领域

本发明属于自然语言处理技术领域，尤其涉及一种基于自注意力机制方面术语提取系统、方法、介质、终端。

背景技术

目前：方面术语提取(Aspect Term Extraction)作为ABSA的子任务，也是一种特定领域的实体命名识别。例如，“The picture quality of my Motorola camera phone isamazing”中，从方面级情感分析的角度可以看出“picture quality”为方面术语，“amazing”是方面词所对应表达的情感观点词。所以方面术语提取是方面级情感分析中的一个关键问题，情感分析中先要去提取带有情感的方面术语，再根据提取到的方面术语进行情感分析。

通过上述分析，现有技术存在的问题及缺陷为：现有模型方法不能高效的挖掘单词间的隐式关系，导致方面术语提取不完整、不全面，甚至可能提取到了非方面术语词。

解决以上问题及缺陷的难度为：基于已有模型，将词性信息与自注意力机制相结合，找到改善ReGU(Residual gated unit)模型依赖预训练词向量模型作为输入出现的词共现信息不足现象的方法。

解决以上问题及缺陷的意义为：在准确提取到方面术语词之后，可以提高后续方面级情感分析的准确性。

发明内容

针对现有技术存在的问题，本发明提供了一种基于自注意力机制方面术语提取系统、方法、介质、终端。

本发明是这样实现的，一种基于自注意力机制方面术语提取系统，所述基于自注意力机制方面术语提取系统包括：

词嵌入层，用于利用词性标注工具进行语句中各个单词的词性，并输出句中每一个词的词性词向量表示；

第一BiReGU层，用于对句子每一个单词的前文信息和后文信息进行处理，挖掘输入序列的上下文信息，深入地训练获得有用的文本特征，并计算隐藏状态；

单词注意力计算层，用于基于计算得到的隐藏状态分配不同的权重，为句子的每个单词生成不同的权重向量，并加权求和得到上下文向量；

第二BiReGU层，用于基于得到的权重向量与词嵌入相结合进行全局特征信息的提取；

全连接层，用于对提取信息进行处理；

CRF层，用于进行方面术语的标记，提取得到相应的方面术语。

本发明的另一目的在于提供一种应用于所述基于自注意力机制方面术语提取系统的基于自注意力机制方面术语提取方法，所述基于自注意力机制方面术语提取方法包括：

首先，利用词性标注工具进行语句中各个单词的词性，并输出句中每一个词的词性词向量表示；同时学习词在内容和词性方面的长期依赖关系；

其次，通过自注意力机制为文本中的每个词语赋予不同的权重；将得到的权重向量再次与词嵌入相结合，学习全局的文本特征表示；

最后，考虑邻居标签之间的相关性，进行全局选择，计算得到每一个单词的标签；用IOB₂格式标记句子中的每个单词，提取标签为B、I的单词作为方面术语。