[发明专利]一种农业大数据的处理方法、装置、设备和存储介质在审
申请号: | 201910431369.0 | 申请日: | 2019-05-22 |
公开(公告)号: | CN110175151A | 公开(公告)日: | 2019-08-27 |
发明(设计)人: | 庄家煜;许世卫;刘佳佳;陈威;张永恩 | 申请(专利权)人: | 中国农业科学院农业信息研究所 |
主分类号: | G06F16/13 | 分类号: | G06F16/13;G06F16/182;G06F16/215;G06F16/22;G06F16/28;G06Q50/02 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100081 北京市海淀区中关*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 大数据 分布式搜索引擎 关系型数据库 分布式文件 存储介质 数据系统 清洗处理 数据分析 搜索请求 近实时 调用 存储 清洗 搜索 采集 反馈 应用 分析 | ||
1.一种农业大数据的处理方法,其特征在于,包括:
采集农业大数据;
将所述农业大数据进行清洗处理,根据清洗后的农业大数据形成关系型数据库;
将所述农业大数据存储到分布式文件数据系统中;
建立分布式搜索引擎;
当接收到搜索请求时,所述分布式搜索引擎调用所述分布式文件数据系统和所述关系型数据库中的农业大数据并进行数据分析,根据分析结果进行反馈。
2.根据权利要求1所述的一种农业大数据的处理方法,其特征在于,所述农业大数据包括:农业自然资源与环境数据、农业生产数据、农业市场数据和/或农业管理数据。
3.根据权利要求1所述的一种农业大数据的处理方法,其特征在于,所述将农业大数据进行清洗处理,包括:空缺值的清洗、噪声数据的清洗、不一致数据的清洗和/或重复数据的清洗。
4.根据权利要求1所述的一种农业大数据的处理方法,其特征在于,所述建立分布式搜索引擎,包括:对所述关系型数据库与所述分布式文件数据系统中的农业大数据进行分块化处理、分区、分区复制和/或建立事务日志。
5.根据权利要求4所述的一种农业大数据的处理方法,其特征在于,所述对所述关系型数据库与所述分布式文件数据系统中的农业大数据进行分块化处理、分区、分区复制和/或建立事务日志,包括:
使用分布式目录的方式,对所述关系型数据库与所述分布式文件数据系统中的农业大数据进行分区;或者,
使用推模式,对所述关系型数据库与所述分布式文件数据系统中的农业大数据进行复制;或者,
周期性的将所述关系型数据库与所述分布式文件数据系统中的农业大数据存储到磁盘。
6.根据权利要求1所述的一种农业大数据的处理方法,其特征在于,所述分布式搜索引擎通过应用程序编程接口API接口接收搜索请求。
7.根据权利要求1所述的一种农业大数据的处理方法,其特征在于,所述分布式搜索引擎调用所述分布式文件数据系统和所述关系型数据库中的数据并进行数据分析,包括:
调用所述分布式文件数据系统和所述关系型数据库中的农业大数据;
根据预设算法对调用的农业大数据进行数据分析,所述预设算法包括:分类算法、聚类算法、关联分析算法和/或预测算法。
8.一种农业大数据的处理装置,其特征在于,包括:
数据采集模块:用于采集农业大数据;
分布式文件数据系统:用于存储数据采集模块采集到的农业大数据;
数据清洗模块:用于清洗数据采集模块采集到的农业大数据,得到关系型数据库;
分布式搜索引擎建立模块:用于建立分布式搜索引擎;
农业大数据应用模块:用于调用所述分布式文件数据系统和关系型数据库中的农业大数据并对分析数据,将分析结果返回给应用端。
9.一种农业大数据的处理设备,其特征在于,所述设备包括:
一个或多个处理器;存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的农业大数据的处理方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的农业大数据的处理方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国农业科学院农业信息研究所,未经中国农业科学院农业信息研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910431369.0/1.html,转载请声明来源钻瓜专利网。