[发明专利]一种面向非结构化数据的领域知识抽取方法

权利要求书

1.一种面向非结构化数据的领域知识抽取方法，所述非结构化数据是指数据结构不规则或不完整、没有预定义的数据模型、不方便用数据库二维逻辑表来表现的数据；

其特征在于，所述抽取方法的具体步骤如下：

步骤S1，通过对领域知识概念实体与关系梳理进行梳理，建立领域知识图谱模式层；

步骤S2，对非结构化数据进行预处理，得到人工标注后的文本数据；

步骤S3，基于双向长短时记忆神经网络以及条件随机场建立实体抽取模型，基于注意力机制建立关系抽取模型，并分别利用相应数据集训练所述实体抽取模型和关系抽取模型；

步骤S4，用训练好的实体抽取模型对待抽取的非结构化数据进行抽取，获得领域实体，并将所述领域实体以表格形式存储为领域实体表；用训练好的关系抽取模型对关系进行抽取，在领域实体表的基础上获得实体与关系一一对应的实体-关系表；

根据抽取得到的所有实体与关系，基于语义相似度进行知识融合，得到知识融合后的实体-关系表，根据该实体-关系表在neo4j图数据库中建立知识图谱。

2.如权利要求1所述的一种面向非结构化数据的领域知识抽取方法，其特征在于，步骤S1的具体步骤如下：

步骤S1-1，根据知识抽取的目的，对多场景领域知识概念与关系进行梳理；

步骤S1-2，根据领域知识概念实体与关系，对知识结构进行定义，建立领域知识图谱模式层。

3.如权利要求1所述的一种面向非结构化数据的领域知识抽取方法，其特征在于，步骤S2的具体步骤如下：

步骤S2-1，利用文本解析工具，将非结构化数据解析为txt文件；

步骤S2-2，利用Jieba分词工具，对文本文件进行分词；

步骤S2-3，对分词后的文本做去除停用词处理；

步骤S2-4，基于BIO标注法或BIOES标注法对文本数据进行人工标注。

4.如权利要求1-3任一项所述的一种面向非结构化数据的领域知识抽取方法，其特征在于，步骤S3的具体步骤如下：

步骤S3-1，根据人工标注的数据，形成用于实体抽取模型和关系抽取模型训练的训练集和测试集；

步骤S3-2，基于双向长短时记忆神经网络以及条件随机场建立实体抽取模型，利用相应数据集训练该模型；基于注意力机制建立关系抽取模型，利用相应数据集训练该模型；

步骤S3-3，依据精确率、召回率、F1值对实体抽取模型训练效果进行评估；根据精确率对关系抽取模型训练效果进行评估。

5.如权利要求4所述的一种面向非结构化数据的领域知识抽取方法，其特征在于，在步骤S3-2中，建立实体抽取模型时：双向长短时记忆神经网络BiLSTM的BiLSTM层的输出维度与标签种类的数量相同，对每个输入w_l，网络会输出其对应标签j的概率值p_ij，最终获得网络的输出P，即每个输入与每个标签对应的标注概率值；条件随机场CRF计算了条件约束下的标注概率值，设y为预测的标注序列，x为文本输入序列，y′为准确的标注序列，则有

其中，P(y|x)为输出P经过条件随机场约束后的概率值；分数Score可以通过下式进行计算：

其中，ψ_i(x，y)为特征向量；

训练实体抽取模型时，目标是最大化概率P(y|x)，通过对数似然得：

定义损失函数为-log(P(y|x))，通过优化算法对损失函数-log(P(y|x))进行优化即可实现实体抽取模型BiLSTM-CRF的训练。