[发明专利]一种GPS海量数据处理方法

说明书

技术领域

本发明涉及海量数据处理领域，特别涉及一种GPS海量数据处理方法。

背景技术

随着科技的发展和生活水平的提高，GPS在生活中的应用越来越广泛，GPS导航设备逐渐成为汽车行业很重要的一款设备，对汽车定位有了更精确的描述和汽车安全方面有了很大的提高。

同时，由于整个系统接入的GPS导航设备可能有几十万到百万，进而给处理这些海量的GPS数据带来很大的困扰。假设每个GPS导航设备按照设定的周期定期上报数据，例如每30秒上报一条GPS数据，每天就有2880条数据，这样的话，在接入的GPS导航设备多时，例如有100万台GPS导航设备，其上报的数据量非常庞大：每天要处理的数据量仅GPS数据就有2880*1000000 = 2,880,000,000条数据，平均每秒要处理及存储上万笔记录。

现有的数据一般都采用关系数据库存储，如Oracle，Mysql，Mssqlserver等，GPS数据库服务器在达到一定的数据量后，关系数据库的查询就会变得非常慢，造成查询效率严重低下，有时候GPS数据库服务器的CPU使用率可达百分之百，也影响了其他业务数据的存储和查询。因此，目前急需一种可处理如此海量的数据的方法。

发明内容

因此，针对上述的问题，本发明提出一种GPS海量数据处理方法，其采用新颖的数据处理机制，可提高GPS数据的处理速度，缩短数据存储和查询的时间，进而解决现有技术的问题。

为解决此技术问题，本发明采用了以下技术方案：

本发明提供一种GPS海量数据处理方法，用于处理服务器接收到的GPS海量数据，该服务器包括若干台GPS数据库服务器和若干台GPS应用服务器，GPS应用服务器用于接收GPS海量数据、分配接收到的GPS海量数据到不同的GPS数据库服务器、并对GPS海量数据进行处理，GPS数据库服务器用于存储GPS应用服务器分配给它的GPS海量数据；该方法包括以下步骤：

步骤1：设置若干台GPS数据库服务器，组成分布式数据库服务器集群；设置若干台GPS应用服务器，组成分布式应用服务器集群；其中，GPS数据库服务器上的数据库采用Oracle数据库；

步骤2：根据定位终端的位置将GPS导航设备上报的GPS数据进行区域划分，将划分后的GPS数据分散至不同的GPS应用服务器；

步骤3：不同的GPS应用服务器接收到GPS数据后，对该GPS数据进行分类，将分类后的GPS数据发送至不同的GPS数据库服务器进行存储；上述GPS数据包括定位终端标识、定位终端位置（经度、纬度）、定位终端速度、定位时间（开始时间和结束时间）等信息数据；该定位终端可以安装在车辆上，也可以安装在其他移动终端上；

步骤4：当需要对GPS数据进行查询时，GPS应用服务器接收用户的查询请求，该查询请求至少包括定位终端标识和定位时间，GPS应用服务器首先根据定位终端标识找到存储该GPS数据的GPS数据库服务器，然后结合GPS数据的分类表找到被查询的该条记录，最后将查询结果发送给用户。

进一步的，上述步骤2中，将划分后的GPS数据分散至不同的GPS应用服务器，是通过直接路由（LVS-DR）模式和加权最少链接（WLC）调度模式进行分散。具体的，LVS-DR模式是客户端CIP发出的请求数据包经过层层路由发送到调度器VIP，调度器再将请求包通过forward分发给应用服务器集群节点RS，应用服务器集群节点RS接收到请求包后将通过地址设置为调度器VIP的别名网卡来封装响应报文并直接发送给客户端CIP，不再经过调度器转发，从而加快了响应速度。WLC调度模式是指在应用服务器集群中的各个GPS应用服务器的性能差异较大的情况下，调度器采用“加权最少链接”调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动询问真实应用服务器的负载情况，并动态地调整其权值。其通过LVS集群及并行处理技术将所有GPS导航设备上传上来的数据分散到不同的GPS应用服务器上，缓解单个GPS应用服务器上的压力。

步骤3中，多台GPS数据库服务器组成数据库服务器集群，不同的GPS数据库服务器接收GPS应用服务器分配的不同GPS数据，并实现GPS数据库服务器之间的并行处理。

另外，步骤3中，对GPS数据进行分类，包括两次分类，其步骤如下：