[发明专利]基于记忆神经网络的知识抽取方法以及系统和设备

权利要求书

1.一种基于记忆神经网络的知识抽取方法，其特征在于，包括以下步骤：

步骤A1，接收待解析文本，利用训练好的词向量层生成句子的矩阵化表示；

步骤A2，根据所述句子的矩阵化表示，以及预定义关系类型集合，通过训练好的卷积神经网络模型获取待解析文本中存在的预定义关系类型，并分别获取所述待解析文本中的各关系类型对应的编码向量；

步骤A3，根据所述句子的矩阵化表示，以及所述待解析文本中的各关系类型对应的编码向量，通过训练好的双向长短时记忆网络模型，对所述待解析文本进行语义编码，得到每一个词的语义向量；

步骤A4，根据所述每一个词的语义向量和所述待解析文本中的各关系类型对应的编码向量，通过训练好的单向长短时记忆网络模型对所述待解析文本进行序列标注，得到一个标签序列；

步骤A5，根据所述标签序列，解析所述待解析文本得到抽取的结构化信息；

其中，

所述结构化信息，包括：第一实体元素、第二实体元素，以及关系类型元素；

对所述词向量层、所述卷积神经网络模型、所述双向长短时记忆网络模型和所述单向长短时记忆网络模型进行训练的方法，包括：

步骤B1，输入一个训练文本，在所述词向量层中利用查表法得到每一个词的向量化表示，进而将所述每一个词的向量化表示组合起来，得到句子的矩阵化表示；并使用dropout技术对词向量层进行正则；

步骤B2，根据预定义关系类型集合，通过所述卷积神经网络模型获取所述训练文本中存在的预定义关系类型，并分别获取所述训练文本中的各关系类型对应的编码向量；

步骤B3，根据所述句子的矩阵化表示，以及所述训练文本中各关系类型对应的编码向量，通过所述双向长短时记忆网络模型，对所述训练文本进行语义编码，得到每一个词的语义向量；

步骤B4，根据所述每一个词的语义向量和所述训练文本中的各关系类型对应的编码向量，通过所述单向长短时记忆网络模型对所述训练文本进行序列标注，得到一个标签序列；

步骤B5，根据所述标签序列，解析得到所述训练文本中的结构化信息；

步骤B6，计算损失函数，判断是否达到预设的收敛条件，若未达到，则分别调整所述词向量层、所述卷积神经网络模型、所述双向长短时记忆网络模型和所述单向长短时记忆网络模型的参数，转至步骤B1继续训练。

2.根据权利要求1所述的知识抽取方法，其特征在于，步骤B2中，“根据预定义关系类型集合，通过所述卷积神经网络模型获取所述训练文本中存在的关系类型，并分别获取所述训练文本中的各关系类型对应的编码向量”，包括：

在步骤B1生成的所述句子的矩阵化表示上进行一维卷积，获取卷积后的特征矩阵；

在所述卷积后的特征矩阵上进行最大池化操作对特征进行压缩，得到句子的向量化表示；

对所述句子的向量化表示进行线性变换得到输出向量，并使用dropout技术对所述词向量层进行正则；

根据所述预定义关系类型集合，以及所述输出向量，使用Softmax函数计算所述训练文本对应的各预定义关系类型的概率，得到所述训练文本中存在的关系类型，并将所述训练文本中各关系类型对应的语义编码向量作为所述训练文本中各关系类型对应的编码向量。

3.根据权利要求1所述的知识抽取方法，其特征在于，步骤B3中，“根据所述句子的矩阵化表示，以及所述训练文本中各关系类型对应的编码向量，通过所述双向长短时记忆网络模型，对所述训练文本进行语义编码，得到每一个词的语义向量”，包括：

将所述训练文本中各关系类型对应的编码向量作为所述双向长短时记忆网络模型中编码模块的正序和逆序的初始词向量，根据所述句子的矩阵化表示，按照长短时记忆网络的记忆模块计算方式，从正序和逆序的两种形式对每一个词进行语义编码，合并该词的正序和逆序的语义编码向量，得到该词的语义向量。