[发明专利]一种基于MapReduce的大规模公交乘客OD并行计算方法

摘要

本发明涉及一种基于MapReduce的大规模公交乘客OD并行计算方法。该方法：首先，对原始公交数据预处理，并将处理后数据存储；而后，运用连续性公交出行链方法得到上车记录集合Sa和具有完整OD点的集合Sb；对集合Sa的上车站点数据根据乘客工作日和非工作日的出行特征以及历史出行站点频次来推算公交乘客出行下车站点；最后，依次对每个IC卡用户的出行OD记录按照刷卡时间顺序归并，完成大规模公交乘客OD并行计算的过程。本发明运用Hadoop的MapReduce并行计算框架和HBase数据库在出行链方法基础上结合乘客历史相似出行行为规律来并行计算大规模公交乘客OD点，不仅提高了大规模公交乘客OD点的计算效率，同时也提高了推算公交乘客OD点的准确率，具有较高的实用价值。

主权项

一种基于MapReduce的大规模公交乘客OD并行计算方法，其特征在于：包括如下步骤，步骤S1：对原始公交数据包括IC卡数据、公交车辆GPS数据、公交车辆信息数据以及公交线路站点数据进行预处理；步骤S2：将预处理过IC卡数据、公交车辆GPS数据存储到HBase数据库；将公交车辆信息数据和公交线路站点数据存储到HDFS；步骤S3：根据MapReduce的特点，在Map函数中依次读取每条IC卡记录，获取其相关信息，根据车辆编号及其刷卡时间等信息获取到相应车辆进出站数据，再结合公交线路站点数据计算出该IC卡持有者乘坐公交出行的上车站点，即O点；步骤S4：在Reduce函数中对能够计算得到O点的IC卡记录，以IC卡号为单位进行归并，以键值对的形式输出到HDFS；步骤S5：在步骤S4的基础上，在新的Map函数中，依次读取每个用户已计算出O点的所有IC卡记录，将该些用户按照连续出行链方法推算得到出行D点的刷卡记录添加到集合Sb，而未能推算出D点刷卡记录添加到集合Sa；其中，出行D点即乘客公交出行的下车站点；步骤S6：在步骤S5的基础上，对集合Sa的刷卡记录，在Map函数中根据居民工作日和非工作日的出行特征，以及历史出行站点频次来推算乘客公交出行的下车站点；步骤S7：在Reduce函数中，按照刷卡时间对每个IC卡号的出行OD记录进行排序，并以IC卡号为键，以出行OD记录为值输出，完成大规模公交乘客OD并行计算过程。