[发明专利]基于知识图谱自动化链路分层的数据处理方法、装置及计算机可读介质

说明书

一种基于知识图谱自动化链路分层的数据处理方法、装置及计算机可读介质。所述方法包括：S1、从一个或多个数据源获取数据；S2、对所述数据进行预处理；S3、基于递进式构建的基于知识图谱的数据存储层，对所述预处理后的数据进行转换，以适应所述数据存储层的组织结构，所述数据存储层至少包括一个或多个基础SPO层，一个或多个实体数据归一层，一个或多个宽表服务应用层；S4、在所述转换过程中，自动化标识被存储的所述数据的基于知识图谱的链路，所述链路用于支持各种数据服务。所述方法能够提高基于知识图谱进行数据组织、存储和处理的效率，基于优化的数据存储结构，对数据进行处理、存储，提高数据检索、查询效率，实现数据召回量和匹配度的双向提升。

技术领域

本公开涉及数据处理、组织、存储领域，特别是涉及一种基于知识图谱自动化链路分层的数据处理方法、装置及计算机可读介质。

背景技术

人类对信息的掌握和利用，都是通过信息系统这个工具来完成的，各种系统也只有集成为综合系统才能充分发挥作用。信息系统技术是以计算机为中心，以数据库和通信网络技术为依托实现对信息处理的技术。对于信息，如何更高效地组织、存储和处理是孜孜不倦地需求与愿望。

知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合，并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代技术。知识图谱为互联网上海量、异构、动态的大数据表达、组织、管理以及利用提供了一种更为有效的方式，使得网络的智能化水平更高，更加接近于人类的认知思维。例如，用户的查询输入后，搜索引擎不仅仅去寻找关键词，而是首先进行语义的理解。对查询分词之后，对查询的描述进行归一化，从而能够与知识库进行匹配。查询的返回结果，是搜索引擎在知识库中检索相应的实体之后，给出的完整知识体系。

当前的互联网中，海量信息分布于不同的信息源，相关性较为稀疏，使用传统搜索引擎，准确、快速地获得有价值的信息变得愈发困难。传统的基于人工的知识管理方式，并不能实时高效地满足用户对于知识的获取需求。特别是在精准、高效识别用户需求，准确匹配搜索查询的结果的应用领域，例如基于大数据的精准招聘需求。其中，基于知识图谱的信息组织存储，通过引入自然语言处理技术，方便高效地从知识图谱中搜索相关结果，并推送给用户，辅助用户学习相关知识。

现有技术中，基于知识图谱进行数据组织、存储及处理，只是简单地在关系型数据库中存储数据，组织成知识图谱，未能有效地组织存储数据，充分利用知识图谱的优势；不同领域的数据有其领域的特性，在采用知识图谱来描述、组织和处理数据时，同样具有领域特性，现有技术中数据的组织、存储同样未能适应适应领域性；同时，获得数据后，未能有针对性地对数据进行处理，以适应相对应的数据组织与存储，也是面临的技术问题。迫切需要新的技术方案来解决此技术问题。

发明内容

针对上述技术问题，为了提高基于知识图谱进行数据组织存储的效率，充分发挥知识图谱的优势，本发明提出一种基于知识图谱自动化链路分层的数据处理方法。所述方法包括：S1、从一个或多个数据源获取数据；S2、对所述数据进行预处理；S3、基于递进式构建的基于知识图谱的数据存储层，对所述预处理后的数据进行转换，以适应所述数据存储层的组织结构，所述数据存储层至少包括一个或多个基础SPO层，一个或多个实体数据归一层，一个或多个宽表服务应用层；S4、在所述转换过程中，自动化标识被存储的所述数据的基于知识图谱的链路，所述链路用于支持数据服务。所述方法能够基于新创立的基于知识图谱自动化链路分层的数据组织存储结构来处理数据，以提高基于知识图谱进行数据组织、存储和处理的效率，充分发挥知识图谱的优势；基于优化的数据存储结构，对数据进行处理、存储，提高数据检索、查询效率，实现数据召回量和匹配度的双向提升。更进一步地，通过模型自学习，能够自适应地适应数据领域特性，进一步提高数据组织、存储和处理的效率，发挥知识图谱的优势。

此外，提供一种基于知识图谱自动化链路分层的数据组织存储装置及计算机可读介质。