[发明专利]一种多维交通出行数据融合与数据质量检测方法

说明书

本发明公开了一种多维交通出行数据融合与数据质量检测方法，包括以下步骤：S1：数据汇集：从不同平台、系统获取不同类型交通工具的原始出行数据，其包括数据采集组件、数据存储组件和数据预处理三大组件；S2：数据融合：包括数据级别融合、特征级别融合以及决策级别融合三个层级；S3：融合数据质量检测。本发明可用多维交通出行数据做更客观准确的乘客出行规律分析、公交断面客流预测、出租车载客线路推荐以及共享多维交通出行融合数据，提供了一套双闭环融合数据质量检测的方法，最大限度保证数据质量；解决交通领域多种交通工具数据源相互独立，在判断出行特征的时候就会产生很大的误差，影响数据分析、算法开发的准确性的问题。

技术领域

本发明涉及数据融合技术领域，具体为一种多维交通出行数据融合与数据质量检测方法。

背景技术

随着互联网、大数据技术突飞猛进地发展，数据量不断增加，但同时大数据量下信息挖掘也面临新的挑战。如何从海量数据中挖掘有用信息成为了重要的研究对象。多维、多源数据融合为海量数据挖掘提供更客观、全面的信息来源。多维、多源数据融合对于行业分析、预测以及其他场景的应用具有重要意义，例如，对于捕捉个人出行链场景，由于出行时可能同时使用多种交通工具，如果公交、出租等多种交通工具数据源相互独立，在判断出行链的时候就会产生很大的误差，影响数据分析、算法开发的准确性。从交通行业多种应用场景考虑，多维、多源数据融合也是非常重要。

现阶段数据融合在不同领域、不同行业也都有相应的研究和应用落地场景。但是，对于交通行业，从整体而言，对多维交通出行链数据融合方法、以及多维交通融合出行链数据质量检测方法研究与应用仍然存在较大的空白。

另外，由于各个行业数据源相互独立的问题，无法共享数据进行融合数据规律分析、以及人工智能的应用。导致分析出的规律与实际情况存在较大的差距，AI模型存在较大的误差。

发明内容

本发明的目的在于提供一种多维交通出行数据融合与数据质量检测方法，最大限度保证了数据质量，且通过多维交通出行数据可做更客观准确的乘客出行规律分析、公交断面客流预测、出租车载客线路推荐以及共享多维交通出行融合数据，大大提高现有技术的工作效率，以解决交通领域多种交通工具数据源相互独立，在判断出行特征的时候就会产生很大的误差，影响数据分析、算法开发的准确性的问题。

为实现上述目的，本发明提供如下技术方案：

一种多维交通出行数据融合与数据质量检测方法，包括以下步骤：

S1：数据汇集：从不同平台、系统获取不同类型交通工具的原始出行数据，其包括数据采集组件、数据存储组件和数据预处理三大组件；

S2：数据融合：包括数据级别融合、特征级别融合以及决策级别融合三个层级；为了获取多维交通出行融合数据表，采用数据级别融合和特征级别融合；其中，数据级融合包括网约车、出租车、共享单车的出行数据的起止点具体位置、经纬度、时间、车辆信息、用户id、日期、交通工具类型的特征提取；特征级融合包括公交-地铁、私家车的出行特征提取，以及所有交通工具的起止点空间特征提取；

S3：融合数据质量检测。

更进一步地，S1中通过数据采集组件从不同平台或系统获取得到的公交、地铁、出租车、网约车、共享单车、私家车出行数据以及公交车、地铁刷卡数据、出租车、网约车、共享单车订单数据、私家车卡口过车数据均为结构化数据，并将结构化数据作为多维交通出行数据源。

更进一步地，S1中的数据存储组件从多个不同系统获取到的多维交通出行数据，以分布式的方式存储在大数据平台中。

更进一步地，S1中的数据预处理组件用于对原始数据做缺失情况检验，校验后的数据根据数据质量情况做进一步处理，并把数据质量上传到多源数据提供系统上，供源头数据提供方做数据质量提升；具体方法如下：

S101：缺失值处理：对于字段缺失个数占比超过80％的记录，直接剔除；