[发明专利]公交车实时地理信息数据清洗方法及系统

权利要求书

1.一种公交车实时地理信息数据清洗方法，其特征在于，包括如下步骤：

初始状态下，根据实时数据建立基础数据表，所述基础数据表保存实时数据中各类数据记录的历史信息；

基于所述基础数据表实时修正不断到达的数据记录；

动态更新所述基础数据表。

2.如权利要求1所述的公交车实时地理信息数据清洗方法，其特征在于，所述基于所述基础数据表实时修正不断到达的数据记录的步骤具体包括：

使用基础数据表修正不断到达的数据记录，抛弃最终仍无法修正的数据记录，并适当修改基础数据表以保证数据一致性。

3.如权利要求1所述的公交车实时地理信息数据清洗方法，其特征在于，所述根据实时数据建立基础数据表的步骤、基于所述基础数据表实时修正不断到达的数据记录的步骤和动态更新所述基础数据表的步骤均由多个线程或进程根据特定的机制协同执行，所述线程或进程之间通过顺序分配方法或哈希分配方法进行数据分配。

4.如权利要求3所述的公交车实时地理信息数据清洗方法，其特征在于，所述顺序分配方法根据数据的到达顺序依次分发给各个线程或进程，保证各个线程或进程所接收的数据量大小一致；

所述哈希分配方法根据数据的多个指定属性，计算所述数据的哈希值，根据哈希值%m的计算结果来决定数据所被分发的线程或进程，其中m为线程数或进程数。

5.如权利要求1所述的公交车实时地理信息数据清洗方法，其特征在于，所述基础数据表中每个表项为一个key-value结构，其中key记录了一种特定数据记录属性，value保存了该类特定属性的数据记录的历史信息，所述历史信息用于修正该类特定属性的数据记录的异常，所述基础数据表有多个。

6.如权利要求1所述的公交车实时地理信息数据清洗方法，其特征在于，所述初始状态下，根据实时数据建立基础数据表的步骤具体为：用户使用已有知识建立基础数据表；

所述动态更新所述基础数据表的步骤具体为：根据实时的正常数据记录动态更新所述基础数据表，所述正常数据记录包括已被修正的异常数据记录。

7.一种公交车实时地理信息数据清洗系统，其特征在于，包括：

基础数据表维护模块，所述基础数据表维护模块根据实时数据建立并动态更新基础数据表，所述基础数据表保存实时数据中各类数据记录的历史信息；

数据实时修正模块，所述数据实时修正模块基于基础数据表实时修正不断到达的数据记录。

8.如权利要求7所述的公交车实时地理信息数据清洗系统，其特征在于，所述数据实时修正模块使用基础数据表修正不断到达的数据记录，抛弃最终仍无法修正的数据记录，并适当修改基础数据表以保证数据一致性。

9.如权利要求7所述的公交车实时地理信息数据清洗系统，其特征在于，所述基础数据表维护模块和数据实时修正模块由多个线程或进程根据特定的机制协同执行，每个模块内部的线程或进程之间通过顺序分配方法或哈希分配方法进行数据分配。

10.如权利要求9所述的公交车实时地理信息数据清洗系统，其特征在于，所述顺序分配方法根据数据的到达顺序依次分发给各个线程或进程，保证各个线程或进程所接收的数据量大小一致；

所述哈希分配方法根据数据的多个指定属性，计算所述数据的哈希值，根据哈希值%m的计算结果来决定数据所被分发的线程或进程，其中m为线程数或进程数。

11.如权利要求7所述的公交车实时地理信息数据清洗系统，其特征在于，所述基础数据表中每个表项为一个key-value结构，其中key记录了一种特定数据记录属性，value保存了该类特定属性的数据记录的历史信息，所述历史信息用于修正该类特定属性的数据记录的异常，所述基础数据表有多个；

初始状态时，基础数据表由用户使用已有知识建立，后续过程中基础数据表维护模块根据实时的正常数据记录动态更新所述基础数据表，所述正常数据记录包括已被数据实时修正模块修正的异常数据记录。