[发明专利]基于记忆神经网络的知识抽取方法以及系统和设备

摘要

本发明涉及知识抽取领域，具体涉及一种基于记忆神经网络的知识抽取方法以及系统和设备，目的在于解决现有技术中存在的信息冗余问题。本发明在给定预定义关系类型的前提下，首先利用卷积神经网络获取输入文本中可能具有的关系类型，及其语义编码向量；再利用双向长短时记忆神经网络进行语义编码，得到语义向量；将关系类型作为双向长短时记忆网络的初始值以及解码模块中的第一个标签，进而将关系类型信息融入到编码信息以及解码模块的标签信息中；最后采用单向长短时记忆网络结构的解码模块得到标签序列，然后通过解析标签序列得到结构化信息。本发明不但极大地提高了结构化信息抽取的效率，而且克服了现有技术中存在的信息冗余问题。

主权项

1.一种基于记忆神经网络的知识抽取方法，其特征在于，包括以下步骤：步骤A1，接收待解析文本，利用训练好的词向量层生成句子的矩阵化表示；步骤A2，根据所述句子的矩阵化表示，以及预定义关系类型集合，通过训练好的卷积神经网络模型获取待解析文本中存在的预定义关系类型，并分别获取所述待解析文本中的各关系类型对应的编码向量；步骤A3，根据所述句子的矩阵化表示，以及所述待解析文本中的各关系类型对应的编码向量，通过训练好的双向长短时记忆网络模型，对所述待解析文本进行语义编码，得到每一个词的语义向量；步骤A4，根据所述每一个词的语义向量和所述待解析文本中的各关系类型对应的编码向量，通过训练好的单向长短时记忆网络模型对所述待解析文本进行序列标注，得到一个标签序列；步骤A5，根据所述标签序列，解析所述待解析文本得到抽取的结构化信息；其中，所述结构化信息，包括：第一实体元素、第二实体元素，以及关系类型元素；对所述词向量层、所述卷积神经网络模型、所述双向长短时记忆网络模型和所述单向长短时记忆网络模型进行训练的方法，包括：步骤B1，输入一个训练文本，在所述词向量层中利用查表法得到每一个词的向量化表示，进而将所述每一个词的向量化表示组合起来，得到句子的矩阵化表示；并使用dropout技术对词向量层进行正则；步骤B2，根据预定义关系类型集合，通过所述卷积神经网络模型获取所述训练文本中存在的预定义关系类型，并分别获取所述训练文本中的各关系类型对应的编码向量；步骤B3，根据所述句子的矩阵化表示，以及所述训练文本中各关系类型对应的编码向量，通过所述双向长短时记忆网络模型，对所述训练文本进行语义编码，得到每一个词的语义向量；步骤B4，根据所述每一个词的语义向量和所述训练文本中的各关系类型对应的编码向量，通过所述单向长短时记忆网络模型对所述训练文本进行序列标注，得到一个标签序列；步骤B5，根据所述标签序列，解析得到所述训练文本中的结构化信息；步骤B6，计算损失函数，判断是否达到预设的收敛条件，若未达到，则分别调整所述词向量层、所述卷积神经网络模型、所述双向长短时记忆网络模型和所述单向长短时记忆网络模型的参数，转至步骤B1继续训练。