[发明专利]一种综合交通规划类统计数据融合治理的方法

说明书

本发明公开了一种综合交通规划类统计数据融合治理的方法，包括数据预处理、数据质量控制、数据用户勘误、数据新增及替换四个步骤；数据预处理，将原始纸质资料进行预处理，生成一维预处理文件；数据质量控制，将一维预处理文件进行拆分、校验，并对错误数据进行校对更正；数据用户勘误，质量稽核完成数据，经过基础库存储，然后倒入应用库，供前端应用调取使用；数据新增及替换，记录新增数据，并将原数据替换为最新数据。本发明实现了数据指标、时间、空间维度的融合；弥补了OCR识别后数据错误率高、错误数据核对效率低的问题，实现了错误数据自动化识别；实现了每一条数据的溯源，建立了数据库中数据与原始数据资料间的关系。

技术领域

本发明涉及交通数据治理技术领域，尤其涉及一种综合交通规划类统计数据融合治理的方法。

背景技术

交通运输是国民经济中基础性、先导性、战略性产业，是重要的服务性行业。综合交通规划工作对构建好现代综合交通运输体系意义重大。随着综合交通规划数字化转型推进，高质量数据成为工作开展的瓶颈。

在使用非结构化资料构建满足综合交通规划需求的结构化数据库过程中，现有技术方案主要采用了电子化扫描、ORC识别、人工预处理、批量入库、人工二次校对修正的方式完成，产生了同含义数据指标未能融合、指标维度混乱、数据错误率高、数据入库后校对不直观、错误数据溯源困难的问题，严重影响了数据检索、BI可视化、GIS应用分析、模拟仿真计算的效果。

发明内容

本发明目的是提供了一种综合交通规划统计类数据融合治理方法，涵盖了数据采集、转换、入库、勘误、更新、删除的数据全生命周期，解决以上存在的问题。

本发明解决技术问题采用如下技术方案：

一种综合交通规划类统计数据融合治理的方法，包括数据预处理、数据质量控制、数据用户勘误、数据新增及替换四个步骤；

S1，数据预处理，将原始纸质资料进行预处理，生成一维预处理文件；

S2，数据质量控制，将一维预处理文件进行拆分、校验，并对错误数据进行校对更正；

S3，数据用户勘误，质量稽核完成数据，经过基础库存储，然后倒入应用库，供前端应用调取使用；

S4，数据新增及替换，记录新增数据，并将原数据替换为最新数据。

进一步的，数据预处理包含数据电子化、目录树命名融合、数据降维处理、维度命名融合以及目录树编码与维度编码五个步骤；

S11，数据电子化，对纸质资料进行扫描，形成不可编辑非结构化文件，通过OCR程序实现不可编辑电子文件向可编辑非结构化文件转换；

S12，目录树命名融合，对不同年份统计资料的数据目录进行统一；

S13，数据降维处理，采用Python程序对数据表的行表头和列表头分别降维，形成一张二维数据表；再对二维数据表，进行行表头和列表头的降维合并得到一张一维数据表；

S14，维度命名融合，将指标维度、时间维度和空间维度三个维度命名和编码进行统一；

S15，目录树编码与维度编码，基于目录树命名融合和数据指标命名融合完成的基础上，赋予每一级目录树和数据指标一个唯一编码。

进一步的，S12中，采用以下原则对不同年份统计资料的数据目录进行统一：原始依从原则、最新年份依从原则、时间区间注释原则和拆分注释原则。

进一步的，S15中，目录树编码与维度编码包括目录树编码、指标维度编码、时间维度编码以及空间维度编码。

进一步的，数据质量控制包括数据结构化缓存、数据质量稽核和错误数据校对更正三个步骤；