[发明专利]一种高存贮效率高计算效率的GPS数据结构

说明书

本发明属于GPS空间大数据挖掘技术。对于超大规模GPS数据处理而言，原始记录数据每节省一个字节，就能在总量上节省TB级的磁盘存贮空间，相应地大大节省的计算机I/O时间，本发明以同一车载GPS所连续产生的记录序列为对象，通过对ID号、日期、经纬度的合理拆分，将重复部分与非常重复部分分开存贮，有效地将一条标准GPS记录数据的长度无损压缩至10个字节左右，以湖南省区域内244亿条记录为例，节省存贮空间0.44TB，存贮空间节省率达到62.45%。

技术领域

本发明属于超大规模GPS空间大数据挖掘技术领域，与遥感技术、抽样调查技术、地理信息系统技术、数字图像技术、超级计算技术相关。

本发明系列所生产的数字化道路成果是全球卫星定位系统大规模应用的基础性数据支撑，与车辆保险、无人汽车、地图测绘、国家海洋战略、国防安全等诸多领域关系极为密切。

本发明所指GPS，是包括中华人民共和国的北斗导航系统在内的所有全球卫星定位系统，并不是特指美国的GPS系统。

背景技术

随着GPS移动终端的大规模普及应用，在全社会范围内迅速地累积起了超大规模的GPS数据。截止2017年中，交通部所属全国联网联控平台和全国公共货运平台，累积接收数据量远超过万亿条，范围覆盖全国所有实际可通行道路及部分国外道路，其中蕴含了丰富的与交通运输相关的信息。

由NMEA0183标准规定的明码格式的GPS 数据，必须要转换成二进制格式后才能由计算机予以计算，而且字符串到二进制的转换是一种很耗时的计算，因此GPS数据必须首先转换为二进制。

部标汽车行驶记录仪标准规定了车载GPS必须上传的数据内容，其中与GPS数据挖掘相关的内容包括车牌号、经度、纬度、海拔、日期、时间、速度、方位角，另外报警信息、车辆状态字与数据挖掘关系不大，各数据项的二进制格式及所占字节数如表1:

表1 二进制GPS数据项

名称	字节数	数据类型	备注
ID	8	字符串
经度	4	四字节整数	扩大系数1000000
纬度	4	四字节整数	扩大系数1000000
海拔	2	双字节整数	0-8191m
日期时间	8	日期时间型
速度	1	字节型	0-255km/h
方位角	2	双字节整数	0-359
总计	29