[发明专利]一种hadoop环境下的农业数据监控方法

摘要

本发明请求保护一种hadoop环境下的农业数据监控方法，通过hadoop环境下存储方法对农业系统中的原始数据记录进行存储，采用非主键的索引方法对校验字段进行索引，使用格网编码方式，采用异构数据层存储Hbase对象的数据结构，基于Hbase对象的结构模式将任务进行分解，采用HBase对原始数据记录建立时间戳索引和MapReduce的并行化方式完成校验规则的数据监控。本发明能够高效可扩展地通过分布式集群的横向扩展，解决数据海量化问题；通过异构数据统一建模，解决数据异构化带来的不便；通过为校验规则涉及的字段建立辅助查询索引，以支持校验规则执行时进行高效查询处理。

主权项

1.一种hadoop环境下的农业数据监控方法，包括以下步骤：（1）通过hadoop环境下存储方法对农业系统中的原始数据记录进行存储；（2）采用非主键的索引方法对校验字段进行索引，使用格网编码方式，在增量数据质量校验，或者时间窗口的细时间粒度的数据质量校验时在索引表中首先按照层级排序，从起始层级依次排列到终止层级，然后在毎一层级的记录范围内按照行列号Z值排序；（3）采用异构数据层存储Hbase对象的数据结构，并建立相应的索引信息，根据时间戳范围查询原始数据记录表；首先对Hbase对象的数据结构进行分解，然后基于Hbase对象的结构模式将任务进行分解，并与底层存储系统进行映射，由底层存储系统分别执行；（4）采用HBase对原始数据记录建立时间戳索引，以及存储数据的特征及分组信息，在检索查询任务中，确定需校验的数据范围后进行校验；（5）采用MapReduce的并行化方式完成校验规则的数据监控。