[发明专利]南极器测气象数据的数据清洗和标记方法、系统

说明书

本发明涉及一种南极器测气象数据的数据清洗和标记方法、系统，方法包括：获取近地面气温、气压、风速、风向、相对湿度之间的映射关系；根据映射关系，提取近地面气温、气压、风速、相对湿度的原始值；将原始值的时间标签进行数字化，得到各个数据的时间变量，并进行时序的比对；根据数据的时序依次对近地面气温、气压、风速、相对湿度根据质量控制标准进行异常值分类和标记，并对异常值进行清洗；根据预设阈值进行数据完整度控制；将清洗后的数据根据不同的时间分辨率进行自动运算；根据有效数据个数，分别计算近地面气温、气压、风速、相对湿度各自的3小时数据完整度、日数据完整度和月数据完整度；对异常数据进行标记，提高气象数据的准确性。

技术领域

本发明涉及计算机技术及气象领域，具体地涉及一种南极器测气象数据的数据清洗和标记方法、系统。

背景技术

作为地球系统不可或缺的组成部分，南极在全球气候系统变化中扮演着十分重要的角色，是气候变化研究的关键区。气象观测资料是开展南极气候变化的基石。长期以来，受制于南极极其恶劣的环境条件，南极一直是全球最缺乏现场观测资料的区域。自20世纪80年代以来，随着自动气象站技术的逐渐成熟，世界诸国争相在南极架设自动气象站，与已有的地面观测站形成了南极气象观测网，以便更好地描述南极区域甚至整个大陆的天气或气候状况。

目前，南极气象观测网器测数据存在缺失、异常、不规范、虚假观测的问题，对于数据的评估及后续使用构成限制，因此需要后续的质量控制方可使用。而且，气象站是由不同的国家管理与维护，尽管针对气象站收集的原始数据进行了基本的质量检查，但质控标准与方法不统一。例如，美国威斯康辛大学南极气象研究中心数据解码时设定阈值进行粗略的错误检查，手动过滤由于仪器故障(如传感器冻结和屏幕被雪/霜覆盖)、数据传输以及单位变化等造成的错误或缺失，并使用单变量均值和标准差检验；英国南极考察局气象数据质量控制主要采用阈值、人工邻近值处理等方式，澳大利亚南极冰川学项目使用内部软件结合人工方式对数据进行编辑，以消除由卫星通信错误或传感器故障导致的观测误差；荷兰乌得勒支大学海洋与大气研究所南极自动气象站项目通过人工鉴定和质量参数编码，对收集的气象数据进行了初步的质量控制。

总之，相关技术中南极器测气象数据后续处理的不足主要体现在对于数据的时间顺序、数据的自动化处理是缺位的；而且质量控制手段不统一、缺失，标准不一致，难以形成系统的全面质量控制下的高精度数据产品，极大的限制了气象数据的应用。

发明内容

本发明的目的是提供一种南极器测气象数据的数据清洗和标记方法、系统，有效提高数据同化系统的数据准确度和全球气候模式模拟效果，提高南极气象监测站点数据的准确性。

为了实现上述目的，第一方面，本发明提供一种南极器测气象数据的数据清洗和标记方法，所述方法包括以下步骤：

S1、获取南极器测气象数据中的近地面气温、气压、风速、风向、相对湿度之间的映射关系，其中，所述近地面气温通过温度传感器采集得到，所述气压通过气压传感器采集得到，所述风速通过风速传感器采集得到，所述风向通过风向传感器采集得到，所述相对湿度通过湿度传感器采集得到；

S2、根据所述映射关系，分别提取所述近地面气温、所述气压、所述风速、所述相对湿度的原始值；

S3、将所述近地面气温、所述气压、所述风速、所述相对湿度的原始值的时间标签进行数字化，得到各个数据的时间变量，并进行时序的比对；

S4、根据数据的时序，依次对所述近地面气温、所述气压、所述风速、所述相对湿度根据质量控制标准进行异常值分类和标记，并对异常值进行清洗，其中，将所述异常值赋值为无效值，以对异常值进行清洗；

S5、根据预设阈值进行数据完整度控制；

S6、将清洗后的数据根据不同的时间分辨率进行自动运算，得到所述近地面气温、所述气压、所述风速、所述相对湿度各自的3小时值、日均值和月均值，其中，3小时值包括时间在0时、3时、6时、9时、12时、15时、18时、21时的数据；