[发明专利]一种多样化气象水文数据分类存储处理方法和系统

摘要

本发明公开了一种多样化气象水文数据分类存储处理方法和系统，能够提高海量、多样化气象水文数据的查询处理速率。该方法针对气象报文分两路进行存储，其中一路是将气象报文解析数据进行格式转换，得到包括时间、报文类型以及报文详情的三字段信息，存入动态缓存库；动态缓存库保留近n小时的三字段信息将超出n小时的三字段信息存入三字段信息数据库；另外一路是直接将气象报文解析数据存入报文数据全文数据库；查询气象报文时，根据外部请求，先按照时间点、报文类型和/或报文详情部分或全部字段的组合，从动态缓存库和三字段信息数据库中查询所需信息；对于超出三字段信息存储范围的数据，从报文数据全文数据库中查询。

主权项

1.一种多样化气象水文数据分类存储处理系统，其特征在于，报文存储子系统和文件存储子系统；所述报文存储子系统包括格式转换模块、动态缓存库、三字段信息数据库、报文数据全文数据库和报文查询接口；所述三字段信息数据库和报文数据全文数据库均采用非关系型数据库；所述格式转换模块，用于将气象报文解析数据格式转换为包括时间、报文类型以及报文详情的三字段信息；所述报文详情为自定义的关注信息；所述动态缓存库，用于缓存近n小时的所述三字段信息，将超出n小时的三字段信息存入三字段信息数据库；新三字段信息存入本动态缓存库之前判断动态缓存库中是否有时间、报文类型相同的数据条目，如果有，则将新三字段信息中的报文详情追加到已有的三字段信息中；如果没有，直接存储新三字段信息；所述n为设定的时间长度；所述三字段信息数据库，用于存储动态缓存库发来的三字段信息；所述报文数据全文数据库，用于存储未经加工的气象报文解析数据；所述报文查询接口，用于根据外部请求，先按照时间点、报文类型和/或报文详情部分或全部字段的组合，从动态缓存库和三字段信息数据库中查询所需信息；对于超出三字段信息存储范围的数据，从报文数据全文数据库中查询；所述文件存储子系统，用于存储气象产品文件，并响应外部文件下载请求。