[发明专利]地质资料数据清洗方法及系统

说明书

本发明提供了一种地质资料数据清洗方法和系统，该方法包括：文件名称校验步骤，根据待处理地质资料文件的汇交格式要求，来校验各所述待处理地质资料文件的文件名称；文件格式校验步骤，对进行所述文件名称校验步骤之后保留的地质资料数据的文件格式进行校验与记录；以及文件信息采集步骤，在进行所述文件格式校验步骤之后，针对所记录的地质资料数据的文件，分别记录相对应的格式与配置信息。通过本发明实施例的地质资料数据清洗方法及系统，能够依次对地质资料数据进行文件名称校验、文件格式校验和文件信息采集，由此，能够自动地对多元异构、来源广泛的地质资料数据进行清洗，以获得快速、高质量、信息登记丰富的数据清洗结果。

技术领域

本发明涉及地理信息系统(Geographic Information System，GIS)领域，尤其涉及一种地质资料数据清洗方法及系统。

背景技术

地质资料是地质工作形成的重要基础信息资源，具有可被重复开发利用、能够长期提供服务的重要功能。尽管国土资源部发文(国土资发[2006]210号)明确了成果地质资料电子文件汇交格式要求，但由于各类专业技术工作的成果文件不尽相同，技术要求中的具体细节也并未细化，加上地质资料汇交单位的水平和态度不一，因此所接收到的汇交数据存在着各类的异构性、不一致性和质量问题，如数据与目录的不一致性，数据存储目录中存在的不合法性，或档案标识的重复性等。

由于地质资料数据有着从组卷、接收、管理、加工直至服务全过程独有的工作特点和应用需求，以往的地质资料从汇交到管理，再到查阅的诸多环节所应用的管理手段或者较为粗陋，如以档为单位的案卷文件夹形式保存资料，但每档文件夹下的文件管理则任由汇交人组织，不再做细分的工作，这样难以满足数据精细化管理的需求；或者采用的技术方法和工具自动化程度较低，绝大多数工作还依赖于人工清洗来完成。这一情况极大地限制了资料管理工作的效率，降低了地质资料的利用率，阻碍了国家地质工作的开展。

目前常见的数据清洗技术方案一般是针对结构化数据的，而进行针对多元异构数据的数据清洗技术方案并不多见。数据清洗技术一般主要可以包括数据检测和数据修正两个步骤或模块。数据检测用来检测文件错误(包括不完整数据和异常数据)和重复与相似重复记录。在进行统计后，挑出全面的脏数据信息。其中，对于重复与相似重复记录一般采用字段匹配和记录匹配等检测操作。对检测出的脏数据进行清洗的步骤，一般是对不完整数据或重复数据采用人工判断后的删除、替代的清洗方法，从而使文件中的错误问题得到修正。

在现有的数据清洗技术方案中，通常是按照由算法库或规则库提供的预先定义好的清洗算法和清洗规则进行清洗工作。然而，在实际的操作工程中，经常要针对遇到的不同问题进行调算法和规则的重新定义和调整，因此，现有技术的方案难以做到规则的通用性。

另外，对于大量错误数据而言，现有技术方案是无法给出有效的清洗建议或统计数据的，往往需要提交给用户，由其手动处理，耗时、费力，也很难保障质量。

另外，对于数据的错误类型及其他统计信息的统计与分析也很难通过目前的技术方案简便地实现。

发明内容

技术问题

有鉴于此，本发明要解决的技术问题是如何自动地对多元异构、来源广泛的地质资料数据进行清洗。

解决方案

为了解决上述技术问题，根据本发明一实施例，提供了一种地质资料数据清洗方法，包括：

文件名称校验步骤，根据待处理地质资料文件的汇交格式要求，来校验各所述待处理地质资料文件的文件名称；

文件格式校验步骤，对进行所述文件名称校验步骤之后保留的地质资料数据的文件格式进行校验与记录；以及