[发明专利]一种基于数据格式的数据自动化处理方法及设备

说明书

本发明涉及一种基于数据格式的数据自动化处理方法及设备，所述方法用于对场地环境调查数据进行自动化处理，包括以下步骤：获取第一数据，根据所述第一数据的数据格式，调用对应的一级映射关系，将所述第一数据转换为一级目标数据，所述第一数据为实验室源数据；获取第二数据，对所述第一数据和一级目标数据进行唯一关联，生成第三数据，所述第二数据为现场采样数据；根据调查对象用地属性，生成对应的对标标准模板进行二级映射，对所述第三数据进行自动化对标处理，生成二级目标数据。与现有技术相比，本发明具有处理效率高、数据准确性高等优点。

技术领域

本发明涉及场地环境调查数据处理技术领域，尤其是涉及一种基于数据格式的数据自动化处理方法及设备。

背景技术

场地环境调查的对象包括土壤、地下水、地表水等，其中土壤样品按照纵向深度分为不同层次样品。依据场地生产历史不同，检测指标可分为重金属类、挥发性有机物类、半挥发性有机物类、总石油烃类和有机农药类。除场地样品之外，还需要采集实验室质控样，包括实验室平行样、淋洗洋、运输空白样和全程序空白样等。总之，场地环境调查项目中需要处理的检测数据类型较多、结果内容复杂。

目前，环境调查项目的数据处理过程存在以下技术局限：1)市场上从事环境调查样品分析的检测单位较多，各检测单位生成的数据格式形式多样。面对形式多样的检测数据，一般是采用人工或半人工方式进行数据处理、分析，这种处理方式不仅会致使项目的实施效率较低，人力浪费较重，而且检测数据的体量一般较大，人工处理容易出现错误，不能及时发现错误的原因；2)现场作业过程的数据与第三方检测成果数据目前都是独自录入系统，存在人工操作方式，两类数据未能实现自动化关联，以至于数据生成图表过程中需要人工操作。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种数据处理效率高、准确性高的基于数据格式的数据自动化处理方法及设备。

本发明的目的可以通过以下技术方案来实现：

一种基于数据格式的数据自动化处理方法，该方法用于对场地环境调查数据进行自动化处理，包括以下步骤：

获取第一数据，根据所述第一数据的数据格式，调用对应的一级映射关系，将所述第一数据转换为一级目标数据，所述第一数据为实验室源数据；

获取第二数据，对所述第一数据和一级目标数据进行唯一关联，生成第三数据，所述第二数据为现场采样数据；

根据调查对象用地属性，生成对应的对标标准模板进行二级映射，对所述第三数据进行自动化对标处理，生成二级目标数据。

进一步地，所述调用对应的一级映射关系时，判断是否调用成功，若否，则产生第一提示信息。

进一步地，在产生第一提示信息时，遍历所有一级映射关系对所述第一数据进行转换，判断转换是否成功，若是，则建立当前第一数据的数据格式与成功转换的一级映射关系的对应关系，若否，则产生第二提示信息。

进一步地，在产生第二提示信息时，判断是否存在新的一级映射关系，若是，则基于该新的一级映射关系将所述第一数据转换为一级目标数据。

进一步地，基于采样样品编号对所述第一数据和一级目标数据进行唯一关联。

进一步地，所述第二数据包含检测数据介质属性，所述第三数据为在所述一级目标数据内添加检测数据介质属性后生成，

所述检测数据介质属性包括土壤、地下水和地表水。

进一步地，将所述第一数据转换为一级目标数据或进行二级映射时，判断数据中是否存在异常数据，若是，则标记并删除该异常数据。

进一步地，所述对标标准模板基于标准数据库生成，所述标准数据库存储有多个已有标准，具体生成过程包括：