[发明专利]知识库生成方法、装置、设备及存储介质

说明书

本申请适用于人工智能技术领域，提供了一种知识库生成方法、装置、设备及存储介质，所述知识库生成方法，包括：获取非结构化文本中的候选答案所在的第一句子和各个所述候选答案在所述第一句子中的位置信息，对所述候选答案所在的第一句子和所述候选答案在所述第一句子中的位置信息进行编码，得到语义向量；解码所述语义向量，得到目标答案的知识库。不仅能够保证知识的覆盖率和有效性，还可以提升知识库生成的效率。

技术领域

本申请涉及区块链/人工智能技术领域，尤其涉及一种知识库生成方法、装置、设备及存储介质。

背景技术

智能问答系统，旨在要求机器能理解自然语言组成的问题，并给出合理准确的答案。常见的智能问答系统按照答案来源，可分为基于结构化数据的问答系统、基于问题答案的问答系统和基于自由文本的问答系统。而基于结构化数据的问答系统的代表系统为基于知识图谱的问答(Knowledge Base Question Answering，KBQA)，基于问题答案的问答系统的代表系统为基于常见问题的问答(Frequently Asked Questions，FAQ)，基于自由文本的问答系统的代表系统为基于机器阅读理解的问答(Machine Reading Comprehension，MRC)。其中，KBQA和FAQ的问答效果依赖于知识库的规模与质量，MRC虽然可以直接从非结构化文本中摘取片段作为答案，但训练阅读理解模型仍需要较大规模问答语料的知识库。

而目前知识库的主要收集方式为人工整理和网络爬虫。其中，人工整理知识库的成本高且数量有限，导致知识覆盖率低，无法应对数据需求量大的问答场景；而由于数据来源的多样化，使得网络爬虫数据质量偏低，往往包含大量噪声，需进一步人工甄选鉴别，仍然存在效率较低的问题。

因此，现有技术生成的知识库存在无法保证知识的覆盖率和有效性，且生成效率低下的问题。

发明内容

有鉴于此，本申请实施例提供了一种知识库生成方法、装置、设备及存储介质，以解决现有技术中无法保证知识库的覆盖率和有效性问题，并提高知识库的生成效率。

本申请实施例的第一方面提供了一种知识库生成方法，包括：

获取非结构化文本中候选答案所在的第一句子和各个所述候选答案在所述第一句子中的位置信息；

对所述候选答案所在的第一句子和所述候选答案在所述第一句子中的位置信息进行编码，得到语义向量；

解码所述语义向量，得到目标答案的知识库。

在一可选的实现方式中，所述获取非结构化文本中候选答案所在的第一句子和各个所述候选答案在所述第一句子中的位置信息，包括：

获取所述非结构化文本，对所述非结构化文本基于与预训练序列标注模型进行标注，提取所述非结构化文本中的候选答案所在的第一句子和各个所述候选答案在所述第一句子中的位置信息。

在一可选的实现方式中，对所述候选答案所在的第一句子和所述候选答案在所述第一句子中的位置信息进行编码，得到语义向量，包括：

通过预先训练完成的问句生成模型对所述候选答案所在的第一句子和所述候选答案在所述第一句子中的位置信息进行编码，得到所述语义向量。

在一可选的实现方式中，所述问句生成模型为序列到序列模型，所述序列到序列模型包括采用双向LSTM结构的编码器；

通过预先训练完成的问句生成模型对所述候选答案所在的第一句子和所述候选答案在所述第一句子中的位置信息进行编码，得到所述语义向量，包括：

通过所述双向LSTM结构的编码器对所述候选答案所在的第一句子和所述候选答案在所述第一句子中的位置信息进行编码，得到所述语义向量。