[发明专利]基于空间时序数据流应用的Skyline查询方法

说明书

基于空间时序数据流应用的Skyline查询方法，属于动态skyline查询在数据流中的应用领域，用于解决海量数据的实时查询处理问题。技术要点是：S1.基于空间时序划分，按时间窗口将连续的时间序列分割成若干时间片段；S2.对于每一个时间片段，对其生成网格倒排索引；S3.将时刻查询点映射到相应的Skyline网格当中，然后使用全局Skyline格计算方法得到全局Skyline格作为侯选集，接着对侯选集里的网络节点数据按时间序列作动态Skyline查询，计算得到有效的全局Skyline结果。效果是：采用了执行时间结束的时刻进行结果查询,这样更为精确与符合实际情况。

技术领域

本发明涉及动态skyline查询在数据流中的应用领域，是一种基于空间时序数据流应用的Skyline的查询系统，该系统涉及到大规模数据分析、空间时序的海量数据处理，全局skyline计算。

背景技术

随着互联网、物联网的飞速发展以及社交网络、云计算等技术的广泛应用，海量数据技术得到了飞速发展。海量的数据被采集和记录，并用来进行科学、工程和商业等领域的研究及分析等工作。据最新研究表明：全球互联网、移动互联网、GPS网络等数据源每天要产生超过2.5×10¹⁸字节的海量数据，并且这些海量数据的来源广泛。互联网上的数据每两年翻一翻，物联网、移动互联网、车联网以及各种的传感器网络无时无刻不在增加海量数据。然而，海量数据的爆炸式增长，使得传统的单机数据分析处理技术已经越来越不适应当前密集型数据分析和处理的需求。为了节约成本，为大规模数据的存储和计算提供分布式处理框架，云计算、大数据、云存储、MapReduce、BigTable等相关技术被提出。

正如思科公司所预测，2016年全球将有79％的数据中心托管着云计算平台。海量数据存储在这些云计算平台中，由于数据量过大，使得这些海量数据处理技术对软硬件要求非常高、系统资源占用非常多，带来了算法效率低下的问题。众多学者们依托云计算平台提出很多新的高效的海量数据处理算法，Skyline算法是其中的一种高效的数据查询和提取方法，可以快速地从海量数据中抽取出关键的信息，大大减少数据量，降低海量数据处理中对软硬件的要求，提高数据处理的效率。Skyline算法作为一种有效的数据提取与处理方法，主要考虑的是如何从庞大的数据集中找出人们最感兴趣或最关心的信息，在海量数据分析处理方面具有广泛的应用，如多目标决策、商店寻址、环境监控、图像检索、个性化推荐、数据挖掘等。Skyline查询可以为用户在决策过程中提供多属性的评判原则，评价函数也可以根据不同的应用采用不同的测量方法(例如欧几里德距离、空间距离等)以提升用户的体验质量；对海量商务交易数据记录，Skyline计算能帮助市场分析人员进行价格及市场策略的定位；在环境监控中，通过分析传感器网络积累起来的海量数据，可以分析评价出潜在的自然灾害与风险。此外，Skyline查询也被应用到图像检索，商店寻址等领域。