[发明专利]一种综合交通规划类统计数据融合治理的方法

权利要求书

1.一种综合交通规划类统计数据融合治理的方法，其特征在于，包括数据预处理、数据质量控制、数据用户勘误、数据新增及替换四个步骤；

S1，数据预处理，将原始纸质资料进行预处理，生成一维预处理文件；

S2，数据质量控制，将一维预处理文件进行拆分、校验，并对错误数据进行校对更正；

S3，数据用户勘误，质量稽核完成数据，经过基础库存储，然后倒入应用库，供前端应用调取使用；

S4，数据新增及替换，记录新增数据，并将原数据替换为最新数据。

2.根据权利要求1所述的一种综合交通规划类统计数据融合治理的方法，其特征在于，数据预处理包含数据电子化、目录树命名融合、数据降维处理、维度命名融合以及目录树编码与维度编码五个步骤；

S11，数据电子化，对纸质资料进行扫描，形成不可编辑非结构化文件，通过OCR程序实现不可编辑电子文件向可编辑非结构化文件转换；

S12，目录树命名融合，对不同年份统计资料的数据目录进行统一；

S13，数据降维处理，采用Python程序对数据表的行表头和列表头分别降维，形成一张二维数据表；再对二维数据表，进行行表头和列表头的降维合并得到一张一维数据表；

S14，维度命名融合，将指标维度、时间维度和空间维度三个维度命名和编码进行统一；

S15，目录树编码与维度编码，基于目录树命名融合和数据指标命名融合完成的基础上，赋予每一级目录树和数据指标一个唯一编码。

3.根据权利要求2所述的一种综合交通规划类统计数据融合治理的方法，其特征在于，S12中，采用以下原则对不同年份统计资料的数据目录进行统一：原始依从原则、最新年份依从原则、时间区间注释原则和拆分注释原则。

4.根据权利要求2所述的一种综合交通规划类统计数据融合治理的方法，其特征在于，S15中，目录树编码与维度编码包括目录树编码、指标维度编码、时间维度编码以及空间维度编码。

5.根据权利要求1所述的一种综合交通规划类统计数据融合治理的方法，其特征在于，数据质量控制包括数据结构化缓存、数据质量稽核和错误数据校对更正三个步骤；

S21，数据结构化缓存，在数据预处理阶段形成的为一维CSV文件，通过程序对文件进行拆分，使用数据入库工具，将拆分后的CSV文件分别导入缓冲数据库的不同数据表中；

S22，数据质量稽核，对数据质量进行六个维度的评价，分别是规范性、完整性、准确性、一致性、时效性、可访问性；

S23，错误数据校对更正，数据质量控制环节产生的错误数据日志，将不符合质量稽核要求的数据挑出，通过数据升维程序处理，将错误数据升维成二维可视化的数据表，数据处理人员通过调取原始资料比对，将错误数据更正，并记录修改的日志，重新回到数据质量控制环节，直至不再有错误数据日志。

6.根据权利要求1所述的一种综合交通规划类统计数据融合治理的方法，其特征在于，数据用户勘误环节，建立数据质量与用户使用之间的联系，当用户在使用数据时发现数据错误时，通过系统前台页面功能设计，提供一键上报功能，并形成错误数据日志，通过数据升维程序处理，将错误数据升维成二维可视化的数据表，数据处理人员通过调取原始资料比对，将错误数据更正，并记录修改的日志。

7.根据权利要求1所述一种综合交通规划类统计数据融合治理的方法，其特征在于，S4中数据新增及替换包括：

S41，目录和维度命名微调，每年数据新增录入时按目录树命名融合原则、指标命名融合原则梳理一遍，将变动的命名信息做微调；

S42，目录树编码和维度编码新增，按目录树编码原则和维度编码原则在原有编码基础上新增；

S43，数据编码比对，按照从新的原则，将原数据标记为过时数据不再使用，替换为最新数据并记录数据年鉴编码和数据版本，生成新的数据编码，并录入。