[发明专利]一种基于位图结构的数据导入、查询及处理方法

说明书

本发明公开了一种基于位图结构的数据导入、查询及处理方法、计算设备和基于位图结构的数据处理系统，数据导入方法适于在数据导入服务器中执行，该方法包括：响应协调服务器发出的数据导入指令，以导入一条或多条原始数据；对每一条原始数据，根据预设的数据处理规则，将该原始数据进行转换以获取相应的位图结构数据；将获取到的各位图结构数据进行压缩处理，以生成对应的数据块，并将数据块提交至存储服务器以便存储；接收存储服务器反馈的存储状态消息；若存储状态消息指示数据块存储成功，则向协调服务器发送存储成功消息，以便协调服务器指示缓存服务器从存储服务器加载数据块，并对各位图结构数据执行失效处理。

技术领域

本发明涉及大数据技术领域，特别涉及一种基于位图结构的数据导入、查询及处理方法、计算设备和基于位图结构的数据处理系统。

背景技术

在大数据技术领域中，对海量数据集合做排重统计，以及对多个海量数据集合的数据做多维交叉统计是一个极具挑战的任务。目前，对数据集合做排重统计的方法通常分为两种：一种是将数据导入到一个Set数据结构中，利用Set数据结构的不允许出现重复元素的特性做排重，但这种方法需要大量存储空间，然而海量数据一般无法全部装载到内存中，即使使用外部存储，在写入和查询的时候也需要大量I/O(Input/Output输入/输出)操作，导致性能较差，另一种则是采取HyperLogLog、DataSketches等估算算法做排重统计，在存储和性能上得到了极大提高，但无法满足精准排重的需求。

进一步的，当要对多个海量数据集合做交叉统计时，传统的做法是使用关系型数据库，对存储于多个表中的数据做Join(连接)操作，但是当数据量特别巨大时，这种做法无论是在存储上还是性能上都无法满足需求。因此，需要提供一种新的数据处理方法来优化上述过程。

发明内容

为此，本发明提供一种基于位图结构的数据导入、查询及处理的技术方案，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种基于位图结构的数据导入方法，适于在数据导入服务器中执行，数据导入服务器分别与协调服务器和存储服务器通信连接，协调服务器和存储服务器还分别与缓存服务器通信连接，该方法包括如下步骤：首先，响应协调服务器发出的数据导入指令，以导入一条或多条原始数据；对每一条原始数据，根据预设的数据处理规则，将该原始数据进行转换以获取相应的位图结构数据；将获取到的各位图结构数据进行压缩处理，以生成对应的数据块，并将数据块提交至存储服务器以便存储；接收存储服务器反馈的存储状态消息；若存储状态消息指示数据块存储成功，则向协调服务器发送存储成功消息，以便协调服务器指示缓存服务器从存储服务器加载数据块，并对各位图结构数据执行失效处理。

可选地，在根据本发明的基于位图结构的数据导入方法中，数据导入指令包括原始数据的数据源以及数据格式定义。

可选地，在根据本发明的基于位图结构的数据导入方法中，将获取到的各位图结构数据进行压缩处理，以生成对应的数据块的步骤包括：判断获取到的位图结构数据的总数量是否达到预设的第一阈值；若是，则将所有位图结构数据进行压缩处理，以生成对应的数据块。

可选地，在根据本发明的基于位图结构的数据导入方法中，将获取到的各位图结构数据进行压缩处理，以生成对应的数据块的步骤包括：判断当前时刻与上一次生成数据块的时刻的时间差值是否达到预设的第二阈值；若是，则将所有位图结构数据进行压缩处理，以生成对应的数据块。

可选地，在根据本发明的基于位图结构的数据导入方法中，将数据块提交至存储服务器以便存储的步骤包括：从协调服务器获取数据块的存储路径和块标识；根据存储路径和块标识，将数据块提交至存储服务器进行存储。