[发明专利]面向海量点与面关系并行计算负载均衡的点数据划分方法

说明书

技术领域

 本发明涉及一种点数据划分方法，更具体的说，尤其涉及一种面向海量点与面关系并行计算负载均衡的点数据划分方法。

背景技术

地理空间数据是一种非常重要的数据，一般而言包含点、线和面三种类型的数据。其中，点与面的关系计算（也就是判断一系列具有地理意义的抽象的点是否位于具有特定意义的面内）是地理信息系统、空间数据库的一个基础而重要的方法，传统的地理信息系统软件都具备此功能；也是许多新兴的地图服务如LBS（Location Based Service，基于位置的服务）等都包含的功能。例如，LBS常常需要根据用户的当前位置，查询附近的用户感兴趣的点（如餐馆、车站等），这就需要进行点与面的计算，其中点为该城市或附近区域中用户感兴趣的所有点，而面则是以用户当前位置为圆心，以某一距离为半径的圆形，这就要判断大量的点中那些位于圆形内。一些新兴的推送服务的商业模式（如Geo-fensing（地理围栏）技术，即用户进入到某一范围时，向用户推送该范围内的商业等信息，吸引用户前往）也会用到点与面的关系计算，其中点即大量用户的位置（一般可以通过GPS定位或者手机信号的定位等），而面则是以该商家为中心，以某一数值为推送半径的圆形区域。

再者，一些诸如Twitter等社交网站也会用点与面的关系计算来分析用户行为，例如在北京城内，已知iphone用户、android用户和黑莓用户的具体分布，如果需要精确统计某一范围内的某类用户，则需要对用户所在位置的点数据与某一区域进行关系计算，也就是需要对大量的用户进行点面的关系计算。

少量点与面的计算是非常迅速的，甚至用普通的笔记本就可以迅速计算得到结果。但是，目前对该功能的使用呈现出两大趋势。

一是，数据量急剧攀升。随着数据采集技术的进步、采集方式手段的多样化（手机等各种手持设备等）、采集精度的增加（更先进的采集设备、更高的分辨率等），越来越多的空间数据被人们所掌握。另外一方面，移动互联网的迅速发展以及多种形式的LBS的发展，也迅速提升了数据量。在移动互联网中，每个手机用户都是一个代表点，如果再加上时间标志，那么每个用户的在较高采样频率下产生的数据也是巨大的。通常情况下，地理数据已经达到了TB级别。北京城内iphone、android和黑莓三类手机的用户至少有几百万个点。出租车上下客的点数据有会有上亿个点。为了研究路口交通，使用6 台激光扫描仪，在一个路口采集了两天的交通轨迹数据，包括来往的机动车、自行车和行人，数据大小为4.7GB，包括209426 条轨迹、33362651个采样点，每26毫秒采样一次。

二是，用户对相关应用查询的响应时间要求极为苛刻，一般要求实时返回计算结果，特别是一些城市应急管理的场合；再者，海量用户并发查询也导致了相当大的计算量。

在当今“数据即财富”的时代，谁拥有并能够快速分析海量的数据，谁就能准确捕捉到商机。在应急系统中，快速的计算结果意味着无数的生命，在城市应急管理中，例如北京大暴雨，可以基于移动基站对数据定位，推送预警信息等；如果推送的范围过大，失去了预警的意义；如果推送的范围过小，则有一部分无法被预警到，起不到预警的作用。

此外，基于此基础的计算功能，可以进行一系列的数据挖掘功能，从而了解城市的居民动向、商业模式等。如通过出租车的上下车数据进行数据的分析与挖掘等，可以了解城市的商业模式及商业区的变迁，了解各个时段的上下客情况，指导出租车司机在合理的时间前往合理的位置，避免空驶，满足乘客出行需求。

基于以上需求可得，如何在最短的时间内快速返回大量点与面的关系成为最核心的需求。计算平台一方面响应对大量数据的需求，另外一方面要面对海量并发用户的查询访问请求。

而基于数据海量、并发用户海量这两个特点以及人们对计算反馈的实时性的需求，对应的计算平台已经从传统的单机计算平台转向了高性能计算机甚至超级计算机，也就是采用并行计算的方式，满足上述核心需求。具体而言，也就是将海量的点分配到不同的计算节点上进行并发计算与查询。而并行计算常涉及的一个问题就是负载均衡。如果数据划分不均匀，那么整体的计算时间不是取决于计算最快的进程，而是最慢的进程。只有当所有的进程都计算完毕时，计算结果才能返回。而点与面的关系计算往往面对的是海量的点，常用的并行计算的方法是针对数据进行划分，即将所有点数据全覆盖无重复地分配到各个计算节点，各个计算节点得到的结果汇总后即为所需的计算结果。因此在核心的点与面的计算方法较为明确的情形下（一般采用射线法），如何将海量的点数据划分到不同的节点上成为问题的关键，也是本发明要解决的问题。