[发明专利]公交车实时地理信息数据清洗方法及系统

说明书

【技术领域】

本发明涉及智能公交技术领域，特别是涉及一种公交车实时地理信息数据清洗方法及系统。

【背景技术】

近年来城市机动车的数量急速增长，引发了许多诸如堵车、停车难、打车难等严重影响老百姓出行质量的问题。同时，城市的交通网络也日趋复杂，对一个完善的管理系统的要求越来越高。在未来构建智能城市的蓝图中，智能交通可谓是重中之重。

大数据时代的到来为智能交通的建立提供了一个契机，其中公交车数据的使用价值巨大。由于公交车是城市的主流交通工具之一，公交车实时数据的计算可以为市民提供到站预测，耗时预测的多种服务。进一步地，公交车行驶路线固定，公交车实时数据可以用于计算道路的实时路况。然而，由于设备缺陷和网络信号不稳定等客观原因，公交车数据常常包含了很多异常的位置信息和状态信息，极大地干扰了公交车数据的实时计算的准确性，因此，公交车地理信息数据的实时地正确计算很大程度上取决于如何有效地并且实时地进行数据清洗。

公交车地理信息数据主要有以下特点：

（1）数据量大，由于公交车数量众多，每秒产生的数据量巨大，因此要求能够正确快速地清洗这些数据；

（2）异常数据复杂，全球定位系统（Global Positioning System，GPS）设备种类众多，受到卫星定位的精度、定位设备的限制、网络信号等多种客观并且不可预知的因素影响，导致数据中存在大量不可预知的数据，异常数据的种类繁多，因此要求能够正确识别并且修正这些异常。

现有的常用方法把接收的数据保存在存储介质中，由后台处理单元在固定的时间间隔进行批量地修正。由于现有技术使用批量处理实时接收到的数据，有如下缺陷：1、无法充分利用实时计算能力，导致后期计算量巨大；2、无法使用动态的信息组合成先验知识对数据进行智能修正。

鉴于此，克服上述现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明要解决的技术问题是提供一种公交车实时地理信息数据清洗方法及系统，以实现对实时公交车地理信息数据的可靠实时清洗，为公交车数据的实时计算提供基础。

本发明采用如下技术方案：

一种公交车实时地理信息数据清洗方法，包括如下步骤：

初始状态下，根据实时数据建立基础数据表，所述基础数据表保存实时数据中各类数据记录的历史信息；

基于所述基础数据表实时修正不断到达的数据记录；

动态更新所述基础数据表。

进一步地，所述基于所述基础数据表实时修正不断到达的数据记录的步骤具体包括：

使用基础数据表修正不断到达的数据记录，抛弃最终仍无法修正的数据记录，并适当修改基础数据表以保证数据一致性。

进一步地，所述根据实时数据建立基础数据表的步骤、基于所述基础数据表实时修正不断到达的数据记录的步骤和动态更新所述基础数据表的步骤均由多个线程或进程根据特定的机制协同执行，所述线程或进程之间通过顺序分配方法或哈希分配方法进行数据分配。

进一步地，所述顺序分配方法根据数据的到达顺序依次分发给各个线程或进程，保证各个线程或进程所接收的数据量大小一致；

所述哈希分配方法根据数据的多个指定属性，计算所述数据的哈希值，根据哈希值%m的计算结果来决定数据所被分发的线程或进程，其中m为线程数或进程数。

进一步地，所述基础数据表中每个表项为一个key-value结构，其中key记录了一种特定数据记录属性，value保存了该类特定属性的数据记录的历史信息，所述历史信息用于修正该类特定属性的数据记录的异常，所述基础数据表有多个。

进一步地，所述初始状态下，根据实时数据建立基础数据表的步骤具体为：用户使用已有知识建立基础数据表；

所述动态更新所述基础数据表的步骤具体为：根据实时的正常数据记录动态更新所述基础数据表，所述正常数据记录包括已被修正的异常数据记录。

本发明还提供了一种公交车实时地理信息数据清洗系统，包括：

基础数据表维护模块，所述基础数据表维护模块根据实时数据建立并动态更新基础数据表，所述基础数据表保存实时数据中各类数据记录的历史信息；

数据实时修正模块，所述数据实时修正模块基于基础数据表实时修正不断到达的数据记录。

进一步地，所述数据实时修正模块使用基础数据表修正不断到达的数据记录，抛弃最终仍无法修正的数据记录，并适当修改基础数据表以保证数据一致性。