[发明专利]一种预训练模型知识图谱实体关系抽取方法及装置

说明书

本发明公开了一种预训练模型知识图谱实体关系抽取方法及装置，基于蚁群算法，蚁群算法的基本原理可以概括为以下步骤：1、蚂蚁在觅食的路径上会分泌一种信息素，能被后面的蚂蚁识别；2、在碰到还未走过的路时会随机选择路走，同时在新的路径也释放信息素；3、路径越长信息素的浓度就会越低，后面的蚂蚁在分叉路口时会选择信息素浓度最高的一条路；4、因此如此循环下去，最优路径上的信息素浓度会越来越高；5、最终蚁群找到最优的觅食途径。本方案基于上述思路通过建立指针路径模型来进行实体关系抽取。解决了现有的实体关系抽取算法采用的机制较为复杂，在进行训练时，计算量较大，计算周期较长，且无法进行并行训练的问题。

技术领域

本发明涉及机器学习领域，特别涉及一种预训练模型知识图谱实体关系抽取方法及装置。

背景技术

预训练可以较好的解决深度学习的一些缺点，例如深度学习的网络越深，需要学习的参数因此也越多，也因此需要更多的训练样本，不然小规模的样本容易造成网络的过拟合。同时深层神经网络有梯度扩散的问题，这会导致前面网络参数贡献将会很小，导致更新速度很慢。常用的预训练方法有逐层贪婪训练和无监督预训练（unsupervised pre-training）即训练网络的第一个隐藏层，再训练第二个…最后用这些训练好的网络参数值作为整体网络参数的初始值。经过预训练最终能得到比较好的局部最优解。

知识图谱主要目标是用来描述真实世界中存在的各种实体和概念，以及他们之间的强关系，我们用关系去描述两个实体之间的关联，例如姚明和火箭队之间的关系，他们的属性，我们就用“属性--值对”来刻画它的内在特性，比如说我们的人物，他有年龄、身高、体重属性。同时知识图谱可以通过人为构建与定义，去描述各种概念之间的弱关系，例如：“忘了订单号”和“找回订单号”之间的关系

实体是指具有可描述意义的单词或短语，通常可以是人名、地名、组织机构名、产品名称，或者在某个领域内具有一定含义的内容。实体是构建知识图谱的主要成员。

关系是指不同实体之间的相互的联系。实体与实体之间并不是相互独立的，往往存在一定的关联。例如“乔布斯”和“苹果”分别属于实体中的人名和产品名称，而它们是具有一定关系的。

在命名实体识别和关系抽取之后，需要对所产生的数据进行整合，三元组是能够描述整合后的最好方式。三元组是指（实体1，关系，实体2）组成的元组，在关系抽取任务中，对任意两个实体1和实体2进行关系抽取时，若两者具有关系，则它们可以构建成三元组。例如一句话“爱迪生发明了电灯泡”，可以构建的三元组为“爱迪生”，“发明”，“电灯泡”。

现有的实体关系抽取算法采用的机制较为复杂，在进行训练时，计算量较大，计算周期较长，且无法进行并行训练。

发明内容

本发明的目的在于：提供了一种预训练模型知识图谱实体关系抽取方法及装置，解决了现有的实体关系抽取算法采用的机制较为复杂，在进行训练时，计算量较大，计算周期较长，且无法进行并行训练的问题。

本发明采用的技术方案如下：

一种预训练模型知识图谱实体关系抽取方法，包括以下步骤：

S2、对语料数据进行实体识别；

S3、建立指针路径模型，表示t时刻指针k从实体i移动到实体j的概率；

；

S4、建立指针信息素释放模型，初始化指针参数后构建解空间；

S5、对语料数据进行迭代训练输出最优解。

蚁群算法的基本原理可以概括为以下步骤：

1、蚂蚁在觅食的路径上会分泌一种信息素，能被后面的蚂蚁识别；

2、在碰到还未走过的路时会随机选择路走，同时在新的路径也释放信息素；