[发明专利]一种hadoop环境下的农业数据监控方法

说明书

本发明请求保护一种hadoop环境下的农业数据监控方法，通过hadoop环境下存储方法对农业系统中的原始数据记录进行存储，采用非主键的索引方法对校验字段进行索引，使用格网编码方式，采用异构数据层存储Hbase对象的数据结构，基于Hbase对象的结构模式将任务进行分解，采用HBase对原始数据记录建立时间戳索引和MapReduce的并行化方式完成校验规则的数据监控。本发明能够高效可扩展地通过分布式集群的横向扩展，解决数据海量化问题；通过异构数据统一建模，解决数据异构化带来的不便；通过为校验规则涉及的字段建立辅助查询索引，以支持校验规则执行时进行高效查询处理。

技术领域

本发明涉及计算机技术领域，尤其涉及一种hadoop环境下的农业数据监控方法，该方法高效可扩展。

背景技术

进入 21 世纪以来，计算机网络和传感器技术的快速发展，农业物联网的广泛应用使世界进入农业物联网快速发展的时代，我国也建立了大量相关的农业物联网系统。这些系统在农业环境监测、灾害预警、作物生长监测、农产品安全等领域发挥了重要作用，取得了一系列重要成果。而在此过程中，随着农业物联网系统的不断发展，系统规模的增大，农业物联网积累了越来越多的海量异构的农业数据，而这些对农业物联网的存储和相应的数据检索提出了更高的要求

然而在这些结构数据集成解决方案中，较少以非结构化数据的集成为研究重点，在解决异构数据统一存储和检索的技术实现上，大多数都使用 XML 技术作为元数据解决方案。XML 技术具有结构灵活、扩展性高、语义丰富等特点，但仍存储在数据间关联性不好、解析复杂 XML 文件耗时等特点。

发明内容

发明目的：针对上述现有技术存在的问题和不足，本发明的目的是提供一种hadoop环境下的农业数据监控方法，解决了现有的关系数据库系统方法的计算延时大，难于扩展，系统性价比低的问题。

技术方案：为实现上述发明目的，本发明采用的技术方案为一种hadoop环境下的农业数据监控方法，包括以下步骤：

（1）通过hadoop环境下存储方法对农业系统中的原始数据记录进行存储；

（2）采用非主键的索引方法对校验字段进行索引，使用格网编码方式，在增量数据质量校验，或者时间窗口的细时间粒度的数据质量校验时在索引表中首先按照层级排序，从起始层级依次排列到终止层级，然后在毎一层级的记录范围内按照行列号Z值排序；

（3）采用异构数据层存储Hbase对象的数据结构，并建立相应的索引信息，根据时间戳范围查询原始数据记录表；首先对Hbase对象的数据结构进行分解，然后基于Hbase对象的结构模式将任务进行分解，并与底层存储系统进行映射，由底层存储系统分别执行；

（4）采用HBase对原始数据记录建立时间戳索引，以及存储数据的特征及分组信息，在检索查询任务中，确定需校验的数据范围后进行校验；

（5）采用MapReduce的并行化方式完成校验规则的数据监控。

优选的，所述分布存储方法为HBase的分布存储方法，采用Master/Slave架构搭建集群，包含一个HMatser节点、若干HRegionServer节点和一个Zookeeper集群，底层将数据存储在hadoop存储系统中。所述校验规则为MapReduce的并行化校验规则。

优选的，所述步骤（2）中，采用非主键索引的方法对校验字段进行索引，从数据存储表中一次性读入所有记录，获取矢量要素OID及 其对应的CC码、几何信息geo和时间版本T，将其转化为OID_T，(CC，geo)的形式输出。

优选的，所述步骤（3）中，所述步骤（3）中，对原始数据记录建立时间戳索引，通过调用spark计算引擎计算单元逻辑规则对数据进行计算，并将计算后的数据输出到分布式存储器，再查询原始数据记录表以获取原始数据记录进行校验。