[发明专利]Spark平台下基于GPS数据的出租车调配方法

摘要

本发明请求保护一种Spark平台下基于GPS数据的出租车调配方法，包括：101从调度中心获取出租车历史GPS数据部署到Spark平台上，对数据做并行地预处理操作；102在Spark平台下对出租车历史GPS数据进行分析，提取特征建立回归模型；103在Spark平台下对出租车的实时GPS数据进行提取并预测其未来的路径、终点位置以及到达时间；104根据预测结果对出租车的调配进行优化。本发明主要是在Spark平台下解决出租车调配问题，通过对出租车历史GPS数据的分析，提取特征建立回归模型，从而预测出租车未来的GPS路径、终点位置以及到达时间，继而对出租车的调配进行优化。

主权项

1.一种Spark平台下基于GPS数据的出租车调配方法，其特征在于，包括以下步骤：/n101、从调度中心获取出租车历史GPS数据，并将该出租车历史GPS数据部署到Spark平台上，对历史GPS数据的每个数据模块都并行预处理操作，具体包括：/nS1011、从调度中心获取历史出租车GPS数据，把历史GPS数据部署到Hadoop分布式文件系统HDFS中，spark是兼容HDFS分布式存储系统，生成m个数据块；/nS1012、并行的读入每个数据块，得到具有m个partition分区的弹性分布式数据集RDDa；/nS1013、对RDDa的每一个partition进行并行的预处理操作，所述的预处理操作是指：若该条GPS数据满足存在相邻两条坐标记录时间跨度超过k分钟，则删除该条数据；若k分钟内存在缺失的GPS坐标记录，则对该条数据进行补全，对该条数据进行地图匹配；/n102、从预处理后的数据中选取模型所需要的特征，提取出租车轨迹特征并建立回归模型，所述步骤S102提取出租车行驶特征具体为：/nS1021、对预处理后的RDDa的每个partition进行并行的特征提取操作，并生成RDDb，所述的特征提取操作是指：提取出路线标识、出租车标识、时间戳、日期类别、轨迹开始和结束时间、路径坐标记录和用户行为信息特征；/nS1022、对RDDb使用persist()方法缓存数据集，生成RDDd；/nS1023、对RDDb的每个partition进行并行的特征矩阵提取，生成RDDc，以RDDc构建学习模型；/n103、在Spark平台下对出租车的实时GPS数据进行提取并根据回归模型预测其未来的路径、终点位置以及到达时间，具体包括步骤：/n进行HDFS读入从调度中心获取的实时出租车GPS数据，生成n个数据块；并行的读入每个数据块，得到具有n个partition的RDDe；/n对RDDe的每个partition进行预处理操作，当该条实时GPS数据存在缺失数据，则对该条数据进行补全，使用Google Map提供的接口对该条数据进行地图匹配，同时考虑到该出租车的历史轨迹数据、当前时间、当天日期类型和路况方面的因素，从地图中找到最为合理的路径进行GPS数据补全；/n对预处理后的RDDe的每个partition进行并行的特征提取操作，并生成RDDf；对RDDf使用persist()方法缓存数据集，生成RDDh；对RDDf的每个partition进行并行的特征矩阵提取，生成RDDg，构建测试数据；/n通过RDDh.cartesian方法对不同的数组进行笛卡尔操作生成RDDi，其中每一个键值对为(key,value)，key为某一条测试样本的ID，value为与该测试样本路径相匹配记录的ID；所述笛卡尔操作具体是指：对RDDh中的每条记录和RDDd中的每条记录进行DTW路径匹配，得出相匹配的键值对(key,value)，在时间序列中，需要比较相似性的两段时间序列的长度可能并不相等，在轨迹路径匹配领域表现为同一段路径上车子的GPS坐标；/n通过RDDi.groupByKey()方法合并匹配结果为RDDj，其中每个k-value值为(key,{value