[发明专利]文本实体的识别方法及相关装置

说明书

本申请公开了文本实体的识别方法及相关装置，其中，方法包括：从待处理文本序列中获取指代同一概念的实体表述；实体表述用于实体归一化；将实体表述转换为预设长度的表述向量；对待处理文本序列进行词嵌入处理，得到向量；对向量中用于实体识别的上下文特征进行编码，得到编码向量；对表述向量与编码向量进行拼接，得到拼接向量；将拼接向量解码为待处理文本序列的预测序列。本申请以向量为纽带将实体归一化和实体识别在向量空间上的联结起来。拼接向量既包含了实体归一化的信息，也包含了实体识别的信息，并且，实体归一化信息作用于实体识别。由于实体识别利用了实体归一化的信息，从而，使得实体识别结果更全面，提高实体识别的准确性。

技术领域

本申请涉及数据处理领域，尤其涉及文本实体的识别方法及相关装置。

背景技术

文本实体识别是信息抽取的关键技术，是众多复杂的自然语言处理应用的基石。然而，由于自然语言丰富的表达形式，导致识别到的文本实体中可能存在指代同一个实体概念的多种不同的表述形式，使得识别到的文本实体难以被直接应用。已有研究表明，实体表述的归一化有助于文本实体的识别。

目前，采用实体表述的归一化提升实体识别的过程，包括：先识别出待处理文本中的文本实体表述，得到候选文本实体，再基于现有的词典和知识库，对识别出的候选文本实体进行实体表述的归一化。

但是，实体归一化后得到的文本实体的准确性低，即实体归一化后得到的文本实体是不全面的，即可能漏掉了待处理文本中的部分文本实体。

发明内容

本申请提供了文本实体的识别方法及相关装置，目的在于解决实体归一化后得到的文本实体的准确性低的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请提供了一种文本实体的识别方法，包括：

从待处理文本序列中获取指代同一概念的实体表述；所述实体表述用于实体归一化；

将所述实体表述转换为预设长度的表述向量；

对所述待处理文本序列进行词嵌入处理，得到向量；

对所述向量中用于实体识别的上下文特征进行编码，得到编码向量；

对所述表述向量与所述编码向量进行拼接，得到拼接向量；

将所述拼接向量解码为所述待处理文本序列的预测序列。

可选的，所述实体表述至少包括：所述待处理文本序列中非标准实体表述的定义指示的实体表述对；

所述从待处理文本序列中获取指代同一概念的实体表述，包括：

基于句法结构和词法结构的规则，识别所述待处理文本序列中用于定义实体的非标准表述；

从所述非标准表述中抽取指代同一个概念的实体表述对。

可选的，所述对所述向量中用于实体识别的上下文特征进行编码，得到编码向量，包括：

将所述向量输入预设的双向LSTM模型；所述双向LSTM模型输出所述编码向量。

可选的，在所述将所述实体表述对转换为预设长度的表述向量之后，还包括：

通过线性层对所述表述向量进行处理。

可选的，在所述对所述表述向量与所述编码向量进行拼接，得到拼接向量之后，且，在所述将所述拼接向量解码为所述待处理文本序列的预测序列之前，还包括：

通过全连接层对所述拼接向量进行转换，得到转换后的拼接向量。

可选的，在所述对所述待处理文本序列进行词嵌入处理，得到向量之后，且，在所述对所述向量中用于实体识别的上下文特征进行编码，得到编码向量之前，还包括：