[发明专利]基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法和系统

说明书

本发明提供的基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法和系统，属于数据处理系统领域。其包括获取海洋温盐观测数据；对观测数据进行数据预处理；对经过预处理后的观测数据进行核心模块的质量控制，依次进行基础信息检查、深度递增检查、仪器最大深度检测、局地最大深度检查、全球范围检查、海水冰点检查、等值检查、局地气候态检查、尖峰检查、极值检查、全球梯度检查、局地梯度气候态检查、以及仪器特性检查；对上述各项检查的质控结果进行标记输出；对各项质控标记输出结果进行统计；输出带有质控标记的观测数据文件。本发明用于对海洋观测的温盐数据进行质量控制，旨在为快速、低成本地提供高质量的观测数据集提供解决思路。

技术领域

本发明属于数据处理系统领域，具体是一种基于气候态范围阈值的自动化海洋温盐观测数据质量控制方法。

背景技术

海洋温盐观测数据的质量控制是建立高质量海洋科学数据库的基础，其对于推动海洋科学及多学科交叉研究、海洋环境预测预报、海洋灾害预警等具有重要意义。近几十年来，随着各种海洋观测技术和设备的发展、海洋调查的深度和广度不断拓展，海洋科学已进入大数据时代。数据质量控制是指通过人工审查或计算机算法辅助的方式，对海洋观测数据进行全方位的质量评估，识别和剔除因各类错情产生的虚假观测数据(异常值)，旨在为提高数据的准确性和可用性提供一种解决思路。目前，国内外对如何获得高质量的现场观测数据越来越重视；然而，由于获取数据手段多样、数据质量千差万别、数据错情类型繁多等因素，使得如何高效和精准地发现这些质量问题并对其进行质量控制是一个难点，也是数据处理中的核心技术。

目前，质量控制从质控技术方式分类上可分为自动化质控技术和(可视化)专家质控技术。其中，自动化质量控制技术一般是通过编写计算机程序，对每一条剖面的观测物理参数进行自动检查，随后对虚假数据(异常值)进行自动质控标记。而专家质控技术则是通过海洋学专家过往经验，对经过自动化质控技术处理后的数据，进行进一步的人工目视审查，这对提高数据的可用性和准确性有一定的作用。

目前海洋观测数据的质量控制系统通常采用多种类型质量控制模块来识别异常值或虚假数据，一般可分为以下几类：1)将观测数据与预先定义的全球或局地的气候态波动范围进行比较，例如气候态检查；(2)对比观测廓线的形状，例如梯度检查；3)依据不同仪器类型的特征对观测数据进行比较，例如仪器最大深度检查。这三种方法已在海洋数据质量控制领域达成共识，被广泛应用在海洋观测数据的质量控制当中。目前，对于异常值的定义暂无一个统一的标准，一些现有的技术中往往假设海洋观测数据是正态分布的，那么异常值通常被定义成超过设定的平均值的数倍标准偏差的数据点。还有一些系统会假设数据是偏态分布并采用箱型图或者是调整箱型图的方法来定义异常值，这都取得了一定的进展和成效。

在质量控制系统中，气候态检查通常被认为是质量控制系统的核心，它相比于其他检查模块而言可以识别更多错情的异常值。该检查旨在将观测到的海洋原位数据与预先构建的该地历史气候态及其波动范围进行比较，因为局地海洋观测获取到的数值通常在一个气候平均态确定的范围内波动。例如太平洋暖池的海表面温度大约在28℃上下范围内波动，并且从来不会低于15℃和高于35℃。目前，气候态检查已被广泛应用在大多数质量控制系统当中。尽管如此，现有的海洋观测数据质量控制技术存在如下的四个缺点：

(1)传统的质量控制系统在检测异常值方面往往假设数据是正态分布。但实际上，受观测数量、海洋环境变化等因素影响，海洋多源观测数据往往是偏态分布甚至是不规则分布。若假设数据仅仅是正态分布，那么将有部分异常值无法被准确识别出来。

(2)传统的质控系统在构建气候态阈值(范围)时没有考虑海洋环流的流依赖，并且没有适应复杂的海洋地形条件，这导致了在一些观测数据少甚至是无观测的区域，无法准确构建该地区的历史气候态变化范围，导致质量控制的精度过低。

(3)传统的自动化质量控制系统往往需要结合人工审查的方式进行数据质控，因为单一的自动化质量控制系统往往存在去伪概率(无法正确标记异常值)较低和错判概率(将正确数据错误标记成异常值)较高的情况。