[发明专利]基于Hive和Spark的遥感数据服务离线批处理系统及方法

说明书

本发明提供一种基于Hive和Spark的遥感数据服务离线批处理系统及其数据处理方法。该系统包括采集模块、存储模块、计算模块、数据服务接口和数据应用模块，所述计算模块包括迭代式内存计算Spark和统一资源调度管理Yarn；所述系统还包括：Hive数据仓库；所述Hive数据仓库包括原始数据ODS层、维度数据DIM层、明细数据EDW层、汇总数据CDM层和应用数据APP层。本发明使用Hive和Spark计算引擎来对遥感数据服务进行离线处理，为满足用户多样化的需求、实现主动的服务模式提供数据支撑。

技术领域

本发明涉及遥感数据处理技术领域，尤其涉及一种基于Hive和Spark的遥感数据服务离线批处理系统及方法。

背景技术

随着遥感对地观测技术的不断成熟，遥感技术在军事、民用、研究等领域逐渐得到了广泛应用，遥感数据出现井喷式增长，逐渐进入遥感大数据时代。与此同时，遥感数据服务平台应运而生，主要用来实现遥感影像数据的检索与下载，算法模型、处理工具、文档资料的共享，遥感产品的生产处理与个性化定制，以及仿真过境分析等。随着用户的不断增多，平台积累了大量的用户行为数据以及业务数据，但是用户的需求却变得更加多样化，这就使得传统的服务模式难以满足用户需求的多样化。

发明内容

为了满足遥感用户的多样化需求，本发明提供一种基于Hive和Spark的遥感数据服务离线批处理系统及方法。

一方面，本发明提供一种基于Hive和Spark的遥感数据服务离线批处理系统，包括采集模块、存储模块、计算模块、数据服务接口和数据应用模块，所述计算模块包括迭代式内存计算Spark和统一资源调度管理Yarn；所述系统还包括：Hive数据仓库；所述Hive数据仓库包括原始数据ODS层、维度数据DIM层、明细数据EDW层、汇总数据CDM层和应用数据APP层；

所述原始数据ODS层，用于将采集到的遥感用户行为数据和遥感服务平台业务数据保持数据的原貌；创建支持压缩的表，通过该表按照日期对数据进行分区存储；

所述维度数据DIM层，用于统计事实度量值时所需要的多样环境；

所述明细数据EDW层，用于对遥感用户行为数据进行解析得到启动日志表、基础明细表和动作日志表；以及用于根据业务过程对保持原貌的遥感服务平台业务数据进行建模；

所述汇总数据CDM层，用于将公共型数据进行聚集沉淀，采用宽表化的处理方式将预设时间周期内的数据按照主题划分进行轻度汇总；

所述应用数据APP层，用于对要分析的指标进行统计计算；其中，所述要分析的指标包括预设时间周期的活跃数、下单总次数、下单用户数、各地区下单量排行、各地区检索量排行和各产品检索量与下单量。

进一步地，所述原始数据ODS层保持数据的原貌，具体包括：仅以一个字段log来存储遥感用户行为数据的检索行为或者下载行为；以及根据遥感服务平台业务数据的原表结构存储业务数据。

进一步地，所述明细数据EDW层对遥感服务平台业务数据进行建模的过程包括：在遥感数据服务平台业务中，选取需要分析的订单业务；选取数据明细粒度；选择订单业务的识别维度，所述识别维度包括用户维度、地区维度、产品维度和时间维度；确定分析订单业务时所需要衡量的指标度量值。

进一步地，所述汇总数据CDM层在对数据按照主题划分的过程中，所述主题类型包括用户主题、地区主题、产品主题和卫星主题；其中：

所述用户主题，用于统计用户的登录次数、检索次数、下载次数、下单次数；

所述地区主题，用于统计指定地区的下单次数、检索次数、下载次数；

所述产品主题，用于统计指定产品的检索次数、下载次数、下单次数；

所述卫星主题，用于统计各卫星的检索次数。

进一步地，所述存储模块包括：分布式消息队列Kafka、关系型数据库、Hive和分布式文件系统。