[发明专利]基于Hive和Spark的遥感数据服务离线批处理系统及方法在审
申请号: | 202110893536.0 | 申请日: | 2021-08-04 |
公开(公告)号: | CN113792041A | 公开(公告)日: | 2021-12-14 |
发明(设计)人: | 乔保军;张洪阔;林英豪;张磊;左宪禹;臧文乾 | 申请(专利权)人: | 河南大学 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458;G06F16/27;G06F16/28;G06F16/51 |
代理公司: | 郑州大通专利商标代理有限公司 41111 | 代理人: | 张立强 |
地址: | 475001 河*** | 国省代码: | 河南;41 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供一种基于Hive和Spark的遥感数据服务离线批处理系统及其数据处理方法。该系统包括采集模块、存储模块、计算模块、数据服务接口和数据应用模块,所述计算模块包括迭代式内存计算Spark和统一资源调度管理Yarn;所述系统还包括:Hive数据仓库;所述Hive数据仓库包括原始数据ODS层、维度数据DIM层、明细数据EDW层、汇总数据CDM层和应用数据APP层。本发明使用Hive和Spark计算引擎来对遥感数据服务进行离线处理,为满足用户多样化的需求、实现主动的服务模式提供数据支撑。 | ||
搜索关键词: | 基于 hive spark 遥感 数据 服务 离线 批处理 系统 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于河南大学,未经河南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202110893536.0/,转载请声明来源钻瓜专利网。
- 上一篇:—种自稳定救护床系统
- 下一篇:一种基于毫米波雷达的静止目标提取方法及系统