[发明专利]一种基于位图结构的数据导入、查询及处理方法

权利要求书

1.一种基于位图结构的数据导入方法，适于在数据导入服务器中执行，所述数据导入服务器分别与协调服务器和存储服务器通信连接，所述协调服务器和存储服务器还分别与缓存服务器通信连接，所述方法包括：

响应协调服务器发出的数据导入指令，以导入一条或多条原始数据，所述数据导入指令包括原始数据的数据源以及数据格式定义，所述数据格式定义规定相应的位图结构数据，包括所述位图数据结构的结构类型，以便对来自不同数据源的原始数据按照对应的结构类型进行转化；

对每一条原始数据，根据预设的数据处理规则，通过所述数据格式定义的结构类型将该原始数据进行转换以获取相应的位图结构数据，所述数据格式定义还包括转化得到的位图数据结构的维度，以便应用集合运算进行多维交叉分析和排重；

将获取到的各位图结构数据进行压缩处理，以生成对应的数据块，并将所述数据块提交至存储服务器以便存储；

接收存储服务器反馈的存储状态消息；

若所述存储状态消息指示所述数据块存储成功，则向协调服务器发送存储成功消息，以便协调服务器指示缓存服务器从存储服务器加载所述数据块，并对各位图结构数据执行失效处理。

2.如权利要求1所述的方法，所述将获取到的各位图结构数据进行压缩处理，以生成对应的数据块的步骤包括：

判断获取到的位图结构数据的总数量是否达到预设的第一阈值；

若是，则将所有位图结构数据进行压缩处理，以生成对应的数据块。

3.如权利要求1或2所述的方法，所述将获取到的各位图结构数据进行压缩处理，以生成对应的数据块的步骤包括：

判断当前时刻与上一次生成数据块的时刻的时间差值是否达到预设的第二阈值；

若是，则将所有位图结构数据进行压缩处理，以生成对应的数据块。

4.如权利要求3所述的方法，所述将所述数据块提交至存储服务器以便存储的步骤包括：

从协调服务器获取所述数据块的存储路径和块标识；

根据所述存储路径和块标识，将所述数据块提交至存储服务器进行存储。

5.一种基于位图结构的数据查询方法，适于在查询服务器中执行，所述查询服务器分别与协调服务器、数据导入服务器和缓存服务器通信连接，所述方法包括：

对接收到的数据查询请求进行解析，以将所述数据查询请求分解成相应的一个或多个子查询请求；

从协调服务器获取所述数据查询请求关联的数据存储路径，并根据所述数据存储路径确定所述数据查询请求对应的数据的当前存储位置，所述数据为位图结构数据，所述位图结构数据具有便于进行多维交叉分析和排重的维度；

若当前存储位置为数据导入服务器，则将分解得到的各子查询请求发送至数据导入服务器，以指示数据导入服务器进行查询来获取相应的子查询结果；

若当前存储位置为缓存服务器，则将分解得到的各子查询请求发送至缓存服务器，以指示缓存服务器进行查询来获取相应的子查询结果；

将各子查询结果进行聚合处理以获取所述数据查询请求对应的查询结果。

6.一种计算设备，包括：

一个或多个处理器；

存储器；以及

一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-4所述的方法中的任一方法和/或权利要求5所述的方法的指令。

7.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-4所述的方法中的任一方法和/或权利要求5所述的方法。