[发明专利]基于云计算的动态Skyline查询装置

说明书

技术领域

本发明属于云计算、空间数据库、大数据处理领域，涉及一种动态数据查询装置。

背景技术

Skyline算法是从一个给定数据集中返回不被其他任何数据对象支配的数据对象集合的过程，查询的结果是数据集中一部分特殊的数据对象，即数据集的边界点，其主要目标是提取数据集的边界点作为候选集提供给用户进行决策。我们设计的新的动态Skyline查询算法有两个特点，第一是支持动态的Skyline查询，第二是支持分布式计算环境，可以运行于云计算系统中进行大数据处理，第三采用了基于流的动态DAG优化技术，比之前的各类分布式动态Skyline查询效率高。

随着互联网、物联网的飞速发展以及社交网络、云计算等技术的广泛应用，海量数据技术得到了飞速发展。海量的数据被采集和记录，并用来进行科学、工程和商业等领域的研究及分析等工作。据最新研究表明：全球互联网、移动互联网、GPS网络等数据源每天要产生超过2.5×10¹⁸字节的海量数据，并且这些海量数据的来源广泛。互联网上的数据每两年翻一翻，物联网、移动互联网、车联网以及各种的传感器网络无时无刻不在增加海量数据。有研究表明，世界上90％以上的数据是最近几年才产生出来的。例如Facebook的活跃用户每个月为13亿，每天产生海量的文本和图像数据；再如Wal-Mart公司已有数据量高达4PB的购买记录。这些海量数据不仅具有数据量大的特点，它们还蕴含着巨大的商业价值。例如分析Facebook用户的上网行为和喜好，可以指导商家进行相关的个性化推荐；分析挖掘超市的购买记录可以给生产厂家和卖家带来利润。然而，海量数据的爆炸式增长，使得传统的单机数据分析处理技术已经越来越不适应当前密集型数据分析和处理的需求。为了节约成本，为大规模数据的存储和计算提供分布式处理框架，云计算、大数据、云存储、MapReduce、BigTable等相关技术被提出。

云计算作为新兴的分布式共享计算平台，它可以建立在大规模廉价PC机的基础上，利用网络中的资源进行海量数据的存储和计算。目前，云计算的研究非常活跃，已成为IT业界最热门的研究方向之一。许多主流IT厂商都在关注云计算，其中既包括硬件厂商(IBM、英特尔等)、软件开发商(微软等)，也包括互联网服务提供商(Google、Amazon等)和电信运营商(AT&T、中国移动等)。海量数据被认为是无法在一定时间内用常规的 软件工具、传统的算法及数据库系统去分析处理的数据。由于云计算技术非常适合处理海量数据，许多公司研究并开发了云计算处理平台，其中包括Google的搜索引擎云平台、IBM的“蓝云”平台、Amazon的弹性计算云]和Hadoop开源云平台]等。Hadoop作为一种大规模数据分布式处理的软件框架，它的核心技术包含分布式文件系统HDFS和并行编程模型MapReduce。它以大量普通机器代替了集群中的高性能服务器，已被证明具有易部署、高容错性及可扩展性等特点^[7]，近些年来Hadoop得到了广泛应用，成为海量数据并行处理的代表技术之一。

正如思科公司所预测，2016年全球将有79％的数据中心托管着云计算平台。海量数据存储在这些云计算平台中，由于数据量过大，使得这些海量数据处理技术对软硬件要求非常高、系统资源占用非常多，带来了算法效率低下的问题。海量数据处理是一个热点的研究方向，众多学者们依托云计算平台提出很多新的高效的海量数据处理算法，动态Skyline算法是其中的一种高效的数据查询和提取方法，可以快速地从海量多因素关联数据中抽取出关键的信息，大大减少数据量，降低海量多维空间数据处理中对软硬件的要求，提高空间数据处理的效率。

发明内容

为了提高海量多为空间数据处理的效率，本发明提出如下方案：基于云计算的动态Skyline查询装置，包括：

倒排网格索引建立模块：建立基于数据分布密度的倒排网格索引，将数据区间分割成许多片段，以将数据空间分割成不等分的网格单元，然后映射每个数据点到网格单元中，利用MapReduce构建基于数据分布密度的倒排网格索引；当一个新的查询开始时，首先映射查询点到相应的网格单元中；