[发明专利]一种铁路主数据的清洗方法

说明书

本发明提供了一种铁路主数据的清洗方法，该方法包括：构建铁路主数据属性模型；接收导入数据属性模型的导入数据；对导入数据的编码数据进行唯一性检验；根据预设的编码规则，对通过唯一性检验的导入数据中的编码数据，利用正值表达式方式进行数据格式验证；将通过数据格式验证的编码数据写入主数据属性模型，并将存在空缺值、错误值或冲突值的错误数据作为异常编码数据进行记录；对主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，以实现编码数据的管理。本发明大大提高了数据清洗的准确度，降低了数据清洗的成本，使导入的数据和已有数据保持一致，提高数据的共享性。

技术领域

本发明涉及数据管理技术领域，尤其涉及一种铁路主数据的清洗方法。

背景技术

随着高速铁路信息化发展，铁路系统中各部门业务数据的一致性管理越来越重要。

在铁路信息化建设之初，公用基础信息的理念薄弱，缺乏统筹规划，各系统建设多面向各自单独的业务应用，公用基础信息分散于各个相互隔离的系统，形成自采集、自存储、自维护的现象。对公用基础信息的概念有着不同的理解，从各系统中抽取数据进行统一的管理没有达成共识，且各系统基础信息格式各异，多词一义、一词多义等现象普遍存在，数据难以共享。

因此，如何结合目前高速铁路信息化的行业需求，提供一种铁路主数据的清洗方法及系统，以满足不同机构对数据访问的需求，保证铁路行业内各业务应用系统的基础数据的一致性具有重要意义。

发明内容

鉴于上述问题，本发明提出了一种克服上述问题或者至少部分地解决上述问题的铁路主数据的清洗方法及系统，实现铁路主数据的数据清洗，使导入的数据和已有数据保持一致，提高数据的共享性。

根据本发明的一个方面，提供了一种铁路主数据的清洗方法，该方法包括：

构建铁路主数据属性模型；

接收导入所述数据属性模型的导入数据；

对导入数据的编码数据进行唯一性检验；

根据预设的编码规则，对通过唯一性检验的导入数据中的编码数据，利用正值表达式方式进行数据格式验证；

将通过数据格式验证的编码数据写入主数据属性模型，并将存在空缺值、错误值或冲突值的错误数据作为异常编码数据进行记录；

对所述主数据属性模型中编码数据的变化状态进行记录，绘制编码数据的变化轨迹，以实现编码数据的管理。

其中，所述方法还包括：

对所述异常编码数据进行编码修改；

根据预设的编码规则，利用正值表达式方式对修正后的编码数据再次进行第二数据格式验证，并将通过第二数据格式验证的编码数据写入主数据属性模型。

其中，所述方法还包括：

定期对所述主数据属性模型中的编码数据进行数据格式的一致性校验；

根据当前的编码规则，对校验出的数据格式不一致的编码数据进行编码更新，并对该编码数据的变化状态进行记录，更新该编码数据的变化轨迹。

其中，当所述主数据属性模型中编码数据进行更新之后，所述方法还包括：

对更新后的编码数据进行审核校验；

根据预设版本管理策略，确定通过审核校验的编码数据的发布版本，并进行发布。

其中，当接收到用户写入的新的编码数据时，所述方法还包括：

对用户写入的新的编码数据进行唯一性检验；

根据所述预设的编码规则，对用户输入的新的编码数据进行数据格式的一致性校验。