[发明专利]一种知识图谱动态更新方法及其终端

说明书

本发明公开一种知识图谱动态更新方法及其终端，包括以下步骤：S1、更新数据源并捕获更新信息，将捕获的所述更新信息存入消息队列；S2、提取所述更新信息，并清洗和筛选数据，将数据映射到实体关系中；S3、根据所述实体关系更新知识图谱，判断是否更新成功；S4、若更新失败，则将更新失败的数据存入重试队列，并重复执行步骤S2、S3，直至更新成功，完成知识图谱的更新。从而避免更新过程中产生延迟，并且使得所有数据只需要处理一次，同时也不会遗漏或重复抽取内容，进一步地适用于需要低延迟更新知识图谱的场景中。

技术领域

本发明涉及知识图谱更新技术领域，特别是涉及一种知识图谱动态更新方法及其终端。

背景技术

知识图谱的更新侧重修订知识，提高准确性；知识图谱的补全侧重扩充知识，提高知识容量；知识图谱的集成是以上两种工作起到的实际效果，本质上是实现了信息的集成。

动态更新是为了在不影响知识图谱使用的前提下，集成最新的数据，如智慧水利、应急响应系统中，实时更新水位、雨量、道路积水、物质储备信息，避免因为滞后信息影响决策指挥，在传统的集成方案中，使用ETL的模式，即数据批量抽取(Extract)→处理转换(Transform)→装载(Load)。在抽取步骤中，每隔一定窗口周期(1秒乃至1天)向数据源发起查询，获取该窗口期内的新增的数据，或者给数据增加修改时间字段，通过该字段来获取到修改和新增的数据。这会造成对数据源的侵入，对于无法控制数据源的场景，无法使用这个方法。

同时为了保证不遗漏数据，有时候还要向前回溯，抽取已经抽取过的内容。这个方法难以处理数据源里被删除的数据，因为无法抽取到已经不存在的记录。在处理转换步骤中，处理包含了数据处理和知识图谱的操作，如数据的统计维度对齐，计量单位对齐，知识图谱层面的实体对齐，共指消歧等等。转换步骤则是把数据格式转成通用的三元组或知识图谱平台指定的导入格式。装载步骤的常见方案有通过知识图谱底层的图数据库的管理工具进行数据导入，或者通过编程实现的API接口进行更新，由此将知识更新到知识图谱平台。

传统方案中存在操作上的延迟，延迟来自抽取数据的窗口周期、抽取批量数据时数据源的响应时间和数据传输时间，并可能遗漏内容，所以常常需要在抽取时向前回溯一段，从而抽取到部分重复内容。

发明内容

本发明所要解决的技术问题是：提供一种知识图谱动态更新方法及其终端，使得所有数据只需要处理一次，也不会遗漏或重复抽取内容。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种知识图谱动态更新方法，包括以下步骤：

S1、更新数据源并捕获更新信息，将捕获的所述更新信息存入消息队列；

S2、提取所述更新信息，并清洗和筛选数据，将数据映射到实体关系中；

S3、根据所述实体关系更新知识图谱，判断是否更新成功；

S4、若更新失败，则将更新失败的数据存入重试队列，并重复执行步骤S2、S3，直至更新成功，完成知识图谱的更新。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种知识图谱动态更新终端，包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种知识图谱动态更新方法中的各个步骤。

本发明的有益效果在于：提供一种知识图谱动态更新方法及其终端，运用大数据中的实时流处理技术，以分布式消息队列和流处理平台作为消费者，避免来自抽取数据的窗口周期、抽取批量数据时数据源的响应时间和数据传输时间产生的延迟，并且使得所有数据只需要处理一次，同时也不会遗漏或重复抽取内容。适用于需要低延迟更新知识图谱的场景中，尤其适用于台风知识图谱的动态更新。

附图说明