[发明专利]一种基于MapReduce的大规模公交乘客OD并行计算方法

权利要求书

1.一种基于MapReduce的大规模公交乘客OD并行计算方法，其特征在于：包括如下步骤，

步骤S1：对原始公交数据包括IC卡数据、公交车辆GPS数据、公交车辆信息数据以及公交线路站点数据进行预处理；

步骤S2：将预处理过IC卡数据、公交车辆GPS数据存储到HBase数据库；将公交车辆信息数据和公交线路站点数据存储到HDFS；

步骤S3：根据MapReduce的特点，在Map函数中依次读取每条IC卡记录，获取其相关信息，根据车辆编号及其刷卡时间等信息获取到相应车辆进出站数据，再结合公交线路站点数据计算出该IC卡持有者乘坐公交出行的上车站点，即O点；

步骤S4：在Reduce函数中对能够计算得到O点的IC卡记录，以IC卡号为单位进行归并，以键值对的形式输出到HDFS；

步骤S5：在步骤S4的基础上，在新的Map函数中，依次读取每个用户已计算出O点的所有IC卡记录，将该些用户按照连续出行链方法推算得到出行D点的刷卡记录添加到集合Sb，而未能推算出D点刷卡记录添加到集合Sa；其中，出行D点即乘客公交出行的下车站点；

步骤S6：在步骤S5的基础上，对集合Sa的刷卡记录，在Map函数中根据居民工作日和非工作日的出行特征，以及历史出行站点频次来推算乘客公交出行的下车站点；

步骤S7：在Reduce函数中，按照刷卡时间对每个IC卡号的出行OD记录进行排序，并以IC卡号为键，以出行OD记录为值输出，完成大规模公交乘客OD并行计算过程。

2.根据权利要求1所述的一种基于MapReduce的大规模公交乘客OD并行计算方法，其特征在于：所述步骤S1中，对原始公交数据进行预处理包括：

步骤S11：删除原始公交IC卡数据中不必要的字段，即保留IC卡号、刷卡时间、线路编号、公交车辆编号字段信息；

步骤S12：删除原始公交车辆GPS数据中不必要字段，即保留GPS设备编号、线路编号、行驶方向、GPS时间、进出站标志、纬度、经度、站点编号字段信息；

步骤S13：整理公交车辆信息数据，根据车辆编号和车辆GPS设备编号对应关系，即根据一个公交车辆编号找到对应的车辆GPS设备编号；

步骤S14：整理公交线路及公交站点数据，转换公交站点的经纬度坐标系为WGS-84坐标系，同时转换公交站点经纬度信息为墨卡托平面坐标。

3.根据权利要求1所述的一种基于MapReduce的大规模公交乘客OD并行计算方法，其特征在于：所述步骤S2，具体包括：

步骤S21：在HBase数据库中创建表IC_Card，包含列簇IC_Info，将IC卡数据以IC卡号和刷卡时间为组合行键，分别以IC卡号、刷卡时间、线路编号、公交车辆编号为属性值添加到列簇IC_Info；

步骤S22：在HBase数据库中创建表Bus_Avl，包含列簇AVL_Info，将公交车辆GPS数据以GPS设备编号和GPS时间为组合行键，分别以GPS设备编号、线路编号、行驶方向、GPS时间、进出站标志、纬度、经度、站点编号为属性值添加到列簇AVL_Info；

步骤S23：将公交车辆信息数据以车辆编号为键，以车辆GPS设备编号为属性值，创建文件Bus_Info并存储到HDFS；

步骤S24：将公交线路站点数据以线路编号为键，以该条线路所有的站点为属性值，创建文件Line_Info并存储到HDFS。