[发明专利]一种基于大数据技术的气象网格数据服务方法及系统

说明书

本发明公开了一种基于大数据技术的气象网格数据服务方法及系统，方法包括：通过对原始网格数据的降尺度计算和区域计算，形成对外提供的按区域查询的网格气象数据和区域气象数据；同时按空间、时间和热点情况维度，将网格气象数据和区域气象数据分别存储在不限于关系型数据库、内存数据库和非关系型数据库的数据库中；将数据库中存储的数据进行读取和分发，供外部调用。本发明通过通过基于大数据技术集成降尺度等算法引擎并结合数据级别和类型采用不同方式存储，并滚动更新，不仅提升了数据精度，同时提升了系统数据查询效率和性能，多种技术的融合还降低了硬件成本。

技术领域

本发明涉及气象数据处理技术领域，尤其涉及一种基于大数据技术的气象网格数据服务方法及系统。

背景技术

气象数据是进行天气预报、气候预测及各类气象服务、科学研究的基础，是智慧城市、环保、智慧交通、智慧农业、能源电力等领域息息相关，特别是对一些精细化网格天气数据的需求，已经是越来越迫切。气象数据的处理和分发是气象数据服务的一项重要任务，目前中国、美国、日本、欧洲、加拿大等国家每天会定时发布全球气象数据，其中美国国家环境预测中心的全球预报系统（Global Forecast System）发布的气象数据是使用最为广泛的，该系统每天发布4次全球范围的气象数据，数据更新时间是每6小时，分别为0点、6点、12点和18点，共4个时次。分辨率最高可达到0.25°x 0.25°。其预报数据可预报未来16天共384个小时的天气，预报数据时间间隔为1小时（0~120小时是每小时一个文件，120~384小时为每3小时一个文件），每小时一个文件处理后的原始气象格点数据较为庞大，加之为了对数据精准度的提升做的降尺度处理，数据量呈几何倍数增长，数据量惊人，如何较好的处理和分发成了一个难题。

目前绝大多数的气象数据服务系统为了提升服务效率，往往是投入大量硬件资源去计算、存储和分发，成本较高，造成一定的资源浪费。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于大数据技术的气象网格数据服务方法及系统，基于大数据技术，通过对业务数据的梳理分析，结合多种数据处理、存储分发技术，实现通过最小的硬件资源、构建低成本、高可用、高性能的实现海量气象网格数据的计算、存储、分发的数据服务系统。

为实现上述目的，本发明提供了一种基于大数据技术的气象网格数据服务方法，包括：

通过对原始网格数据的降尺度计算和区域计算，形成对外提供的按区域查询的网格气象数据和区域气象数据；

同时按空间、时间和热点情况维度，将网格气象数据和区域气象数据分别存储在不限于关系型数据库、内存数据库和非关系型数据库的数据库中；

将数据库中存储的数据进行读取和分发，供外部调用。

优选的，所述原始网格数据为基于GFS的处理的0.25°x 0.25°的格点天气数据。

优选的，所述降尺度计算具体为：通过降尺度计算引擎，将0.25°x 0.25°的格点数据降为业务系统所需的高精度格点数据，降尺度计算引擎通过基于插值计算、偏差订正得到公里级的高精度网格气象数据。

优选的，所述插值计算通过griddata将散点数据插值到网格点上，通过vq =griddata(x,y,v,xq,yq)或vq =griddata(x,y,z,v,xq,yq,zq)，其中v是数值，x,y,z是其坐标，xq,yq,zq是其插值到网格点的坐标。

优选的，所述区域计算，具体为：将所述原始网格数据通过区域计算引擎将区域内格点取样后统计得到的区域气象数据，具体采取的是均匀分布采样方法，生成[0,1]之间的伪随机数序列。

优选的，所述生成[0,1]之间的伪随机数序列，采用随机数算法：Xn+1=(aXn+c)mod m计算得出。