[发明专利]基于云计算和数据虚拟化的气象卫星数据处理系统

权利要求书

1.基于云计算和数据虚拟化的气象卫星数据处理系统，系统由数据资源池、插件集、调度引擎、生产流组成，数据资源池提供各种与数据相关的软硬资源，插件集提供了对数据资源的处理工具，调度引擎负责插件执行和计算资源分配，任务流实现生产应用，其特征在于先将数据和存储资源封装成数据资源池，再将气象卫星数据处理算法或第三方处理命令封装为可以在平台上运行的插件，气象卫星数据处理算法或第三方处理命令封装的插件通过数据代理器来访问数据资源池中的资源，然后用调度引擎调用所述气象卫星数据处理算法或第三方处理命令封装的插件，并从计算资源池中分配相应的资源给所述气象卫星数据处理算法或第三方处理命令封装的插件，再将完成一定任务的所述气象卫星数据处理算法或第三方处理命令封装的插件进行逻辑上的编排后得到工作流，工作流根据时间来定时、重复执行这些所述气象卫星数据处理算法或第三方处理命令封装的插件，并负责结果的输出。

2.根据权利要求1所述的基于云计算和数据虚拟化的气象卫星数据处理系统，其特征在于所述数据资源池提供存储服务和虚拟化服务。

3.根据权利要求2所述的基于云计算和数据虚拟化的气象卫星数据处理系统，其特征在于所述存储服务提供气象卫星数据的物理存储方案，基于底层的存储资源池和气象卫星数据的常用格式，提供集中的数据存储，实现数据在时间、空间、种类上的统一。

4.根据权利要求2所述的基于云计算和数据虚拟化的气象卫星数据处理系统，其特征在于所述虚拟化服务针对使用场景构建不同的虚拟视图，屏蔽了数据在不同存储方式下的差异，可动态创建表并加载数据，并通过封装实现了简单统一的数据访问。

5.根据权利要求2所述的基于云计算和数据虚拟化的气象卫星数据处理系统，其特征在于所述虚拟化服务提供的功能包括但不限于空间数据提取、通道数据提取、时间序列提取、投影转换、NC文件生成、HDF文件生成、元数据管理、Gdal命令调用、动态数据表构建、实时数据增量导入、字段映射、表关联、查询语句封装、数据访问SDK。

6.根据权利要求1所述的基于云计算和数据虚拟化的气象卫星数据处理系统，其特征在于所述气象卫星数据处理算法或第三方处理命令封装的插件集提供各类插件的统一管理，实现从气象卫星数据从格式解析、通道数据提取运算、图片操作及专业算法实现等各方面的工作。

7.基于云计算和数据虚拟化的气象卫星数据处理算法，包括以下步骤：步骤S1：用户在Web页面上配置数据下载插件；步骤S2：用户在Web页面上配置数据处理插件，为插件配置要处理的数据、所需的CPU和内存资源、输出结果等；步骤S3：用户在Web页面编排任务清单；步骤S4：调度器根据任务清单执行其中的插件；步骤S5：取得返回结果，支持具体服务。

8.根据权利要求7所述的基于云计算和数据虚拟化的气象卫星数据处理算法，其特征在于S1包括以下步骤：步骤S101：配置接入数据源，包括数据源服务器地址、帐号信息、接入方式、更新频次、文件名过滤规则等；步骤S102：配置接入数据属性，包括文件格式、仪器名称、通道名称等信息；步骤S103：配置数据使用属性，用于查询、文件服务、计算服务还是地图服务；步骤S104：根据使用属性分别存于NoSQL数据库、分布式文件系统或用逻辑分块方式存于对象或文件系统中；步骤S105：数据代理器为数据表封装统一SQL查询接口。

9.根据权利要求7所述的基于云计算和数据虚拟化的气象卫星数据处理算法，其特征在于S3包括以下步骤：步骤S301：配置任务的基本信息，包括任务的描述、所有者、功能、使用数据的描述、输出数据描述等信息； 步骤S302：选择处理卫星数据所需的插件，每个插件与气象卫星数据处理过程中相应的步骤相关，逻辑上划分的处理步骤对应为系统中的具体插件，插件可以平台预制的，也可以根据任务需要新编写的；步骤S303：根据业务逻辑设计插件的执行顺序，通过拖拽方式排列插件的顺序，并连接插件完成插件之间的拓扑图，就完成了对插件逻辑的建立；步骤S304：根据插件在执行中的依赖关系，设置插件的耦合方式，耦合方式有四种：数据耦合、逻辑耦合、全局耦合、消息耦合；步骤S305：设置任务的执行计划，主要是执行时间，是否重复等，最后将保存配置好的任务在生产流中，并可根据业务的变化重新编辑、调整任务的插件、执行计划等信息。