[发明专利]一种知识图谱数据的多路归并方法、装置、设备及介质

说明书

本发明提供了一种知识图谱数据的多路归并方法、装置、设备及介质，涉及数据存储技术领域，包括获取待归并的知识图谱数据，将所述识图谱数据映射为多个前缀树；构建位向量，基于预设的编码方式将每个前缀树中的子树的树拓扑数据存储在位向量的区间内，并将每个前缀树中所有的前缀字符分别存储在与位向量对应的字符数组中；计算每个位向量的超限值，使用预设的数据结构为位向量建立索引；从字符数组中读取前缀字符，利用索引抽取所读取到的前缀字符所覆盖的子树的拓扑数据；将抽取到的子树的拓扑数据构建为临时数组，归还子树所占用的位向量，本发明优化了多路精简知识图谱数据归并过程中内存开销过大的问题，实现了归并紧凑图谱数据的有序存储。

技术领域

本发明涉及数据存储技术领域，具体而言，涉及一种知识图谱数据的多路归并方法、装置、设备及介质。

背景技术

知识图谱作为目前主流的知识存储介质之一，随着知识构建过程的自动化和作为资源库的互联网数据的膨胀，知识图谱数据量出现了大规模增长。利用紧凑存储结构和列存储方法可以较好的利用数据之间的关联性实现大规模知识图谱数据的压缩表示，一般参与压缩的数据规模越大，数据压缩率就越高，但相对地要求更高的临时工作空间。在多路压缩图谱数据的归并过程中，如果需要将全量的数据加载进入内存，则数据压缩的成本会被大幅度放大，相较于磁盘成本的减小，内存开销的提升可能使得数据压缩优化得不偿失。

发明内容

本发明的目的在于提供一种知识图谱数据的多路归并方法、装置、设备及介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

第一方面，本申请提供了一种知识图谱数据的多路归并方法，包括：

获取待归并的知识图谱数据，将所述识图谱数据映射为多个前缀树，所述前缀树包括多个结点，且结点与结点之间设置有前缀字符，每个前缀字符覆盖有至少一个子树；

构建位向量，基于预设的编码方式将每个前缀树中的子树的树拓扑数据存储在位向量的区间内，并将每个前缀树中所有的前缀字符分别存储在与位向量对应的字符数组中；

计算每个位向量的超限值，基于所述超限值使用预设的数据结构为位向量建立索引；

从字符数组中读取前缀字符，并利用所述索引抽取所读取到的前缀字符所覆盖的子树的拓扑数据，直到所有的前缀字符读取完毕；

将抽取到的子树的拓扑数据构建为临时数组，归还子树所占用的位向量。

第二方面，本申请还提供了一种知识图谱数据的多路归并装置，包括：

获取模块：用于获取待归并的知识图谱数据，将所述识图谱数据映射为多个前缀树，所述前缀树包括多个结点，且结点与结点之间设置有前缀字符，每个前缀字符覆盖有至少一个子树；

构建模块：用于构建位向量，基于预设的编码方式将每个前缀树中的子树的树拓扑数据存储在位向量的区间内，并将每个前缀树中所有的前缀字符分别存储在与位向量对应的字符数组中；

计算模块：用于计算每个位向量的超限值，基于所述超限值使用预设的数据结构为位向量建立索引；

读取模块：用于从字符数组中读取前缀字符，并利用所述索引抽取所读取到的前缀字符所覆盖的子树的拓扑数据，直到所有的前缀字符读取完毕；

归还模块：用于将抽取到的子树的拓扑数据构建为临时数组，归还子树所占用的位向量。

第三方面，本申请还提供了一种知识图谱数据的多路归并设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现所述知识图谱数据的多路归并方法的步骤。