[发明专利]一种海量GPS数据处理方法及系统

说明书

技术领域

本发明涉及数据处理领域，更具体地说，涉及一种海量GPS数据处理方法及系统。

背景技术

一般数据都采用关系数据库存储，如Oracle，mysql，mssqlserver等，GPS数据量太大，车载终端按照设定的周期定期上报数据，比如10秒钟上报一次，则一天就有8640条数据，在车载终端数量多时，该上报数据量非常庞大，GPS数据服务器在达到一定数据量后关系数据库查询会变得很慢，造成查询效率严重低下，有时候数据库服务器CPU使用率达到100％，也影响其他业务数据存储和查询。

发明内容

本发明要解决的技术问题在于如何提高海量GPS数据的存储和查询效率，针对现有技术的查询数据效率低下的问题，提供一种可解决以上海量GPS数据的存储和查询效率的海量GPS数据处理方法及系统。

本发明解决其技术问题所采用的技术方案是：提供一种海量GPS数据处理方法及系统。

本发明提供一种海量GPS数据处理方法，用于处理GPS服务器接收到的海量数据，该GPS服务器包括接收单元、解析单元、第一判断单元、第二判断单元、时间文件夹创建模块、文件创建模块、存储单元、查询请求接收单元、分割单元、读取单元、输出单元，其特征在于，包括以下步骤：

S10、接收单元接收GPS车载终端上报的GPS数据；所述GPS数据包括上报时间、车载终端唯一标识、车辆位置信息、车辆安防信息，所述车载终端唯一标识是车牌号或者电话号码；

S11、解析单元对接收到的GPS数据进行解析，得到上报时间和车载终端唯一标识；

S12、第一判断单元根据上报时间判断存储单元中是否有以所述上报时间命名的存储路径，如果有该存储路径，则执行步骤S14，如果没有该存储路径，则执行步骤S13；

S13、时间文件夹创建模块按照所述上报时间创建时间文件夹；

S14、第二判断单元根据车载终端唯一标识判断在所述上报时间命名的存储路径下是否有以该车载终端唯一标识命名的文件，如果有以该车载终端唯一标识命名的文件，则执行步骤S16；如果没有以该车载终端唯一标识命名的文件，则执行步骤S15；

S15、文件创建模块新建一个以该车载终端唯一标识命名的文件；

S16、将所述GPS数据顺序存储在以车载终端唯一标识命名的文件中；

S17、查询请求接收单元接收客户的查询请求，所述查询请求包括查询时间和车载唯一标识；

S18、分割单元将接收到的所述查询时间分割成以天为单位的一个或多个查询；

S19、读取单元在所述的以天为最小存储文件中读取以车载终端唯一标识命名的文件内容；

S20、将查询结果合并，通过输出单元(20)输出。

在本发明的海量GPS数据处理方法中，所述时间文件夹包括

以年份命名的年份文件夹；

在每个所述年份文件夹中建立以月份命名的月份文件夹；

在每个所述月份文件夹中建立以每日命名的日文件夹。

在本发明的海量GPS数据处理方法中，所述查询时间包括第一时间点和第二时间点，其中所述第一时间点早于第二时间点。

本发明还提供一种海量GPS数据处理系统，包括：接收单元：用于接收车载终端发送过来的GPS数据；解析单元：与所述接收单元连接，用于对接收单元接收的GPS数据进行解析，得到上报时间和车载终端唯一标识；第一判断单元：与所述解析单元连接，用于根据上报时间判断存储单元中是否有以所述上报时间命名的存储路径；第二判断单元：与第一判断单元连接，用于根据车载终端唯一标识判断在所述上报时间命名的存储路径下是否有以该车载终端唯一标识命名的文件；时间文件夹创建模块：与第一判断单元连接，用于按照GPS数据里的上报时间创建时间文件夹；文件创建模块：与第二判断单元连接，用于创建以GPS数据里的车载唯一标识为文件名的文件；

存储单元：与第二判断单元连接，用于存储所述GPS数据；

所述GPS数据包括上报时间、车载终端唯一标识、车辆位置信息、车辆安防信息；所述车载终端唯一标识是车牌号或者电话号码；

查询请求接收单元，用于接收查询请求，所述查询请求包括查询时间和车载唯一标识；分割单元，与查询请求接收单元连接，用于将接收到的所述查询时间分割成以天为单位的一个或多个查询；读取单元，与分割单元及存储单元分别连接，用于在所述的存储单元中读取以天为最小存储文件夹中以车载终端唯一标识命名的文件内容；输出单元，用于将读取单元的结果合并输出。

附图说明