[发明专利]一种城市道路路段动态交通流基础数据的预处理方法

说明书

技术领域

本发明涉及智能交通应用领域，特别是一种城市道路路段动态交通流基础数据的预处理方法。

背景技术

基于固定式车辆检测器采集的动态交通流基础数据是重要的智能运输系统(ITS)数据源。由于固定式车辆检测器受自身工作状态、网络传输、道路交通状况及周围环境等不确定性因素影响，采集的数据存在错误、丢失、时间点漂移、噪声过大等问题。如果对原始数据不加以预处理直接应用，则会影响上层智能运输应用系统对城市道路交通状况及性能评价指标估计与预测的准确性和可靠性，造成系统运行人为干预度大、应用系统可持续性不强、应用范围受限等问题。可见数据预处理的主要目的是控制道路采集交通流数据的质量，降低问题数据对整体数据精确度的影响，保证道路交通流数据的精确处理和安全应用，也为改善城市道路动态交通流数据采集系统提供反馈信息和理论依据。

动态交通流基础数据的预处理最关键的两方面内容为数据有效性检验和缺失数据估计。数据有效性检验方法经历了从简单的阈值检验法到阈值检验法结合交通流理论的综合检验法的发展过程，典型的算法有华盛顿算法(Washington Algorithm)、日常统计算法(Daily Statistics Algorithm)等；关于缺失数据的估计，早期的ITS系统对缺失数据并没有进行估算处理，而是采用忽略的方法，直接去除某些可疑或错误数据。显然忽略缺失数据不仅降低了交通流数据的样本量，也很有可能损失部分有价值的信息。基于此，国内外研究和工程人员认识到对缺失数据进行估计的理论与现实意义，并对缺失估计算法进行了大量的深入研究。目前交通流缺失数据估计方法大致可以分为基于经验的估计方法、基于统计的估计方法、人工智能估计方法以及组合式估计方法四类。其中基于经验的估计方法是交通专家运用自己掌握的交通知识和经验总结出来的方法，如历史平均法，基于车道分布的交通缺失数据估计方法等；基于统计的估计方法主要包括时间序列分析法、EM/DA模型、线性回归模型、卡尔曼滤波模型等；人工智能估计方法主要包括各类神经网络算法及遗传算法等；组合式估计方法是对多种方法的融合应用，如基于历史平均与时间序列分析发的组合算法、配对模型、遗传算法与神经网络或回归模型的组合算法等。

总结目前国内外在动态交通流基础数据预处理方法的研究和实践，还存在着如下几个问题：

1、现有数据预处理涉及的算法无法同时兼顾ITS系统应用的实时性和准确性要求，缺乏交通流理论的支撑，数据分析处理能力较弱、挖掘层次较低；

2、数据有效性检验未形成一套全面、综合的规则体系，检验规则本身缺乏一定的层次性；

3、缺失数据估计缺乏对实际数据缺失模式的识别和历史数据的利用，包含经验化的成分较多，而且采用单一算法的应用效果不理想。

发明内容

发明目的

本发明的目的在于，基于固定式车辆检测器采集数据特点，采用阈值法结合交通流理论的基本思想，形成一套全面、综合、具有层次性的数据有效性检验方法；针对不同的数据缺失模式，合理利用历史数据，采用相对最优的方法估计缺失数据，最大限度地保证数据的连续性和完整性；在此基础上，综合考虑数据预处理算法的实时性和准确性要求。

技术方案

本发明的目的是通过如下步骤实现的：

一种城市道路路段动态交通流基础数据的预处理方法，包括如下步骤：

1)以一定时间间隔获取固定式车辆检测器采集的分车道交通流基础数据，规整数据的时间戳属性为最近相邻的整分钟时刻；

2)分车道交通流基础数据有效性检验，依次对各车道的交通流基础数据进行有效性检验：

2-1)数据非空检验，若数据为空，则标记为无效数据，转入步骤2-7)；

2-2)日期时间戳有效性检验，若为日期时间戳错误数据，则标记为无效数据，转入步骤2-7)；

2-3)非重复数据检验，若为重复数据，则标记为无效数据，转入步骤2-7)；

2-4)车辆存在检验，若交通流基础数据属性变量值均为零，则标记为无效数据，转入步骤2-7)；

2-5)单车道交通流基础数据阈值法检验；

2-6)单车道交通流基础数据交通流理论法检验；

2-7)若所有车道交通流基础数据均已完成有效性检验，则转入步骤3)，否则进行下一车道交通流基础数据有效性检验；

3)判断原始数据累计采集时间间隔是否等于汇集时间间隔，若满足，则将原始数据累计采集时间间隔归零，并转入步骤4)；