[发明专利]一种千亿级知识图库的数据加载、管理、检索系统

摘要

本发明公开了一种干亿级知识图库的数据加载、管理、检索系统，包括图数据加载子系统、图数据管理子系统、图数据检索子系统，其中：使用图数据加载方法，能够以高吞吐量的方式转换和加载图数据到知识图库中；使用图数据管理方法，使得图库在海量数据下，具备速批量删除数据；同时加速图的检索；使用图数据检索方法，使得图库具备图关联扩展/数据任意维度/全文检索的能力；同时具备基于数据来源的扩展和基于复杂条件关系(属性的等于/包含/大于/小于/不包含)扩展与查询的能力。有效解决现有技术中数据快速更新、高吞吐量计算与加载、图关联扩展/数据任意维度/全文检索问题。

主权项

1.一种千亿级知识图库的数据加载、管理、检索系统，其特征在于，包括图数据加载子系统、图数据管理子系统、图数据检索子系统，其中图数据加载子系统包括：S11、数据读取模块，将外部数据源读取到内部的支持的文件系统中；S12、图数据提取模块，依据外部数据结构、点/边的数据描述、图数据提取映射描述，提取生成点数据/边数据和图关联扩展索引数据；S13、图数据加载模块，将生成的图和图关联扩展索引数据导入图库中；图数据管理子系统包括：S21、图数据合并模块，将现有的segment合并，包含点segment/边的segment/图关联扩展索引的segment，合并成功后，更新图数据元数据管理单元中的数据；S22、图数据删除模块，根据图数据元数据管理单元中批次的映射信息，删除图库中该批次下包含的所有数据，包含内部原始数据和图库存储引擎内部的数据；其中图数据包括点的segment/边的segment/点的全文索引数据/边的全文索引数据/图关联扩展索引的segment；S23、图数据重做模块，选择某个批次，将该批次下图库中的数据重做，重做的数据包括点数据、边数据、点的全文索引，数据、边的全文索引，数据、图关联扩展索引数据；图数据检索子系统包括：S31、图关联扩展模块，提供关联关系的扩展查询服务；S32、图数据检索模块，提供全文检索和复杂条件的检索服务。