[发明专利]分布式内存列式数据库的索引建立方法

摘要

本发明公开了一种分布式内存列式数据库的索引建立方法，包括：将单列数据切分为至少两个数据分片；并行计算每个数据分片的列式压缩索引的中间数据和行表向量的中间数据，所述列式压缩索引包括字典向量、索引向量以及位置向量；按序存储并更新每个数据分片的列式压缩索引的中间数据和行表向量的中间数据，以形成列式压缩索引和行表向量。本发明提供的分布式内存列式数据库的索引建立方法，对于巨表的导入计算节点并不需要多大的内存，可以节约硬件成本。

主权项

1.一种分布式内存列式数据库的索引建立方法，其特征在于，包括：将单列数据切分为至少两个数据分片；并行计算每个数据分片的列式压缩索引的中间数据和行表向量的中间数据，所述列式压缩索引包括字典向量、索引向量以及位置向量；按序存储并更新每个数据分片的列式压缩索引的中间数据和行表向量的中间数据，以形成列式压缩索引和行表向量；所述分布式内存列式数据库包括域控制器、读取组件、存储节点、主数据服务器以及至少两个从数据服务器；并行计算每个数据分片的列式压缩索引的中间数据和行表向量的中间数据包括：各个从数据服务器并行计算其自身对应的数据分片的列式压缩索引的中间数据和行表向量的中间数据；按序存储并更新每个数据分片的列式压缩索引的中间数据和行表向量的中间数据包括：从数据服务器计算列式压缩索引的中间数据和行表向量的中间数据完成后，向主数据服务器发送准备就绪信号；若主数据服务器为首次接收准备就绪信号，则执行第一步骤，否则执行第二步骤，其中，第一步骤包括：主数据服务器向从数据服务器下发分片任务；从数据服务器对列式压缩索引的中间数据进行切分以形成索引分片，并将索引分片和行表向量的中间数据导入存储节点；导入完成后存储节点向从数据服务器发送确认消息；第二步骤包括：主数据服务器向从数据服务器下发分片任务和上一次分片结果；从数据服务器根据上一次分片结果对列式压缩索引的中间数据进行切分以形成索引分片，并将索引分片和行表向量的中间数据导入存储节点；存储节点将字典向量新增元素个数、已导入的字典向量的偏移量以及新导入的字典向量的偏移量告知从数据服务器；从数据服务器根据字典向量新增元素个数、已导入的字典向量的偏移量以及新导入的字典向量的偏移量更新全局字典向量的起始下标和行表向量；更新完成后存储节点向从数据服务器发送确认消息；从数据服务器在接收到所有存储节点发送的确认消息后，向主数据服务器汇报当前数据分片导入完成；若当前数据分片为最后导入的数据分片，则列数据导入完成，否则重复执行第二步骤。