[发明专利]基于多语注意力机制的事件识别及分类方法及装置

说明书

本发明涉及自然语言处理技术领域，具体涉及一种基于多语注意力机制的事件识别及分类方法及装置，旨在为了解决单语特征识别效果不能满足需求的问题，本发明的方法包括：将仅标注单语事件信息的数据映射为多语平行数据；将所述多语平行数据进行词汇级别对齐，通过多语对齐关系得到同一事件在多种不同语言中的一致性表示；基于单语注意力模型获取多语一致性信息；基于多语注意力模型获取多语互补性信息；基于所述多语一致性信息和所述多语互补性信息进行联合推理，通过非线性神经网络判别模型输出最终的识别结果。本发明可以提高事件的识别效果。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种基于多语注意力机制的事件识别及分类方法及装置。

背景技术

随着互联网的大规模发展，信息的获取变得越来越容易，人们几乎无时无刻都会接触涉及各个领域的海量信息，比如体育、娱乐、军事等等领域的新闻。然而这些信息一般都是无序、杂乱、非结构的，并且存在一定程度的信息冗余。如何在计算机的辅助下，从海量信息中发现感兴趣的事件是亟需解决的问题。事件识别(Event Identification)技术正是解决这一问题的有力手段。事件识别是事件抽取(Event Extraction)的一个独立的子任务，主要研究如何从含有事件信息的非结构化文本中识别出用户感兴趣的事件及其类型。

一个事件由一个触发词(trigger)、一种事件类型(event type)和若干事件的参与者及其角色(arguments and roles)组成，其中事件的触发词是文本中最能指示事件发生的词。事件抽取的目标是如何从描述事件的自然语言文本中抽取事件的上述各个成分，并以结构化的形式展现出来。例如，对于文本“He died in hospital.”，一个理想的事件抽取结果如表1所示。

表1：事件抽取示例

事件识别和事件抽取的不同之处在于，其只关注事件触发词和事件类型的识别，并不关注事件参与者及其角色。例如，对于上面的例子，事件识别的任务是识别出该句子描述了一个事件，该事件的触发词是“died”，事件类型是Die。

ACE(Automatic Context Extraction)评测比赛推动了这个领域的发展。该评测预定义了8大类、33小类的事件，每个类型的事件都有若干标注的实例。目前的主流技术是将事件识别转化为词分类的问题，然后利用句法分析器等工具抽取候选词附近的信息构建特征向量，最后利用基于特征的分类器进行分类。图1展示了现有方法的基本流程，分为训练和测试两个阶段。训练阶段，对标注数据中的每个事件触发词，利用自然语言处理工具提取潜在有用的信息(词形，词性等)，为该实例构建特征向量；将该特征向量和其事件类别对应起来，作为一个标注数据实例。最后利用所有的标注数据实例训练分类模型，得到可用的分类器。测试阶段，该方法将测试文本中的每个词视为一个候选事件触发词，针对每个触发词提取特征构建特征向量，最后用训练好的分类器进行分类，分类器给出的类标就是识别结果。但是，目前传统技术几乎只考虑了单语特征，忽略了多语数据中蕴含的潜在信息，而多语信息对事件识别和类型消歧来说至关重要。

发明内容

为了解决现有技术中的上述问题，即为了解决单语特征识别效果不能满足需求的问题，本发明一方面提出了一种基于多语注意力机制的事件识别及分类方法，包括：

步骤1，将仅标注单语事件信息的数据映射为多语平行数据；

步骤2，将所述多语平行数据进行词汇级别对齐，通过多语对齐关系得到同一事件在多种不同语言中的一致性表示；

步骤3，利用步骤2得到同一事件在多种不同语言中的一致性表示，基于单语注意力模型获取多语一致性信息；

步骤4，利用步骤2得到同一事件在多种不同语言中的一致性表示，基于多语注意力模型获取多语互补性信息；