[发明专利]一种云计算环境下的数据在线聚集方法

摘要

本发明涉及一种云计算环境下的数据在线聚集方法，其包括以下步骤在应用接口层，SQL接口模块根据用户需求设定SQL查询语句Q，并传输至查询处理层；语法分析模块对接收到的查询语句Q进行解析，并将解析结果传输至MapReduce在线化执行计划模块；解析得到的查询语句Q是针对单表的查询，则MapReduce在线化执行计划模块启动一个MapReduce作业，解析得到的查询语句Q是针对多表的查询，则MapReduce在线化执行计划模块启动两个MapReduce作业，根据接收到的一个或两个MapReduce作业，在线聚集处理层对查询语句Q的查询请求进行处理，并将处理结果传输至应用接口层进行显示。本发明可以广泛应用于云计算环境中。

主权项

一种云计算环境下的数据在线聚集方法，其包括以下步骤：1)在线聚集系统中，在应用接口层设置SQL接口模块和结果显示模块，在查询处理层设置语法分析模块和MapReduce在线化执行计划模块，在在线聚集处理层设置数据采样模块、聚集结果估算模块和置信区间计算模块，在数据存储层设置若干数据存储器；2)在应用接口层，SQL接口模块根据用户需求设定SQL查询语句Q，并将查询语句Q传输至查询处理层；3)语法分析模块对接收到的查询语句Q进行解析，并将解析结果传输至MapReduce在线化执行计划模块；解析结果包括查询语句Q所涉及的数据、查询谓词、聚集操作类型以及查询语句Q是针对单表还是多表的查询；如果查询语句Q是针对单表的查询，则MapReduce在线化执行计划模块启动一个MapReduce作业，执行步骤4)；如果查询语句Q是针对多表的查询，则MapReduce在线化执行计划模块启动两个MapReduce作业，执行步骤5)；MapReduce在线化执行计划模块将启动的MapReduce作业传输至在线聚集处理层；4)在线聚集处理层对数据存储层的数据进行采样，在线聚集处理层根据采样数据对接收到的一个MapReduce作业进行处理，并将处理结果传输至应用接口层进行显示；在线聚集处理层根据采样数据对接收到的一个MapReduce作业进行处理，其包括以下步骤：(1)利用简单随机采样方法，数据采样模块对数据存储器中的源数据进行块级别的随机采样，采样得到的数据块传输至MapReduce作业计算模块中；(2)MapReduce作业计算模块对接收到的数据块进行计算，得到采样数据块中变量的标准差σn和统计函数expp(Bi)，并将标准差σn和统计函数expp(Bi)分别传输至置信区间计算模块和聚集结果估算模块；(3)根据接收到的统计函数expp(Bi)，聚集结果估算模块利用式μ~blk=1nBΣi=1nΣj=1BXij=1nΣi=1nΣj=1B|R|expp(tij)B=1nΣi=1nN*expp(Bi),]]>计算得到聚集结果并传输至置信区间计算模块；式中，B为独立的数据块的大小，n为大小为B的独立的数据块的个数，|R|为表R包含的元组数，tij表示数据块i中的第j条元组，N*expp(Bi)表示独立同分布的随机变量；(4)置信区间计算模块根据接收到的聚集结果和置信区间宽度εn，计算得到聚集结果的100p％置信区间为εn为置信度为100p％时的置信区间宽度；(5)重复步骤(1)～(4)，直至根据用户对置信度的需求停止在线聚集系统的运行，并将当前计算得到的聚集结果和置信区间均传输至结果显示模块进行显示；5)在线聚集处理层对数据存储层的数据进行采样，在线聚集处理层根据采样数据对接收到的两个MapReduce作业进行处理，并将处理结果传输至应用接口层进行显示。