[发明专利]一种基于PaaS平台的工业大数据计算系统有效
申请号: | 201711338413.0 | 申请日: | 2017-12-14 |
公开(公告)号: | CN107864222B | 公开(公告)日: | 2020-06-16 |
发明(设计)人: | 高健;杨浩;汪家全;房红征;罗凯;王晓栋;杜方洲;刘程林 | 申请(专利权)人: | 北京航天测控技术有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F9/50;G06F16/182;G06F16/245;G06F16/2458;G06F16/25;G06F16/27;G06F16/215 |
代理公司: | 北京方安思达知识产权代理有限公司 11472 | 代理人: | 陈琳琳;武玥 |
地址: | 100041 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 paas 平台 工业 数据 计算 系统 | ||
1.一种基于PaaS平台的工业大数据计算系统,其特征在于,该工业大数据计算架构从上到下依次包括:接口层、数据服务层和数据支持层;所述数据服务层连接实时数据层和历史数据层;所述数据支持层连接信息管理层和集群管理层;
所述接口层,用于提供对外接口服务,提供与其他系统的数据访问接口;
所述数据服务层,用于提供数据应用服务,提供应用管理人员的服务功能接口;和
所述数据支持层,用于提供基于Docker容器的PaaS云平台层,通过监控集群的负载情况,分配用于存储Hana热数据库和HBase冷数据库所需要的数据服务资源;
所述信息管理层,用于提供管理平台和应用服务数据,通过管理系统管理工业生产的相关信息;还用于管理数据支持层的各项资源配置信息和数据库,通过Hana数据库管理工具和HBase数据库管理工具管理数据支持层的数据库读写业务;
所述集群管理层,用于提供大数据集群环境的管理和维护,用于管理数据支持层的支持和调度资源,提供web作为接口的人机交互形式监控和调度数据支持层的各项资源与服务;
所述数据支持层从上到下依次包括:数据计算层、数据存储层、PaaS云平台层和基础设施层;
所述数据计算层,用于提供基础的大数据计算服务,包括流计算、批量计算、图计算、内存计算和学习计算,能够处理流数据、海量历史数据、图形图像数据和训练数据;所述数据计算层采用Spark内存计算技术实现标准的数据计算服务;
所述数据存储层,用于存储和管理数据,其中Hana提供的内存数据库用于管理实时热数据,HDFS分布式文件系统和HBase分布式数据库用于管理冷数据;
所述PaaS云平台层,用于提供一个快速的运行环境管理服务,使用Docker的容器机制实现服务器集群中的节点快速智能分配,通过监控集群的负载情况,快速分配Hana热数据库和HBase冷数据库所需要的服务器资源;
所述基础设施层,用于提供底层的基础设施环境,包括主机基础设施、网络基础设施和安全保密基础设施。
2.根据权利要求1所述的基于PaaS平台的工业大数据计算系统,其特征在于,所述接口层包括协议接口、服务接口和二次开发接口;
所述协议接口,用于为外部系统提供标准化的工业生产的协议接口,包括:通信协议接口、访问协议接口和数据解析接口;
所述服务接口,用于为外部系统提供应用服务接口,外部系统能够通过调用该接口访问工业平台中的数据和应用,包括数据预处理接口、数据查询接口、数据分析接口和数据挖掘接口;
所述二次开发接口用于为第三方平台和研发人员提供开发接口,包括数据接口、算法接口、数据分析接口和数据挖掘接口。
3.根据权利要求2所述的基于PaaS平台的工业大数据计算系统,其特征在于,所述数据服务层为接口层提供基础性的、通用的构件以及构件调用的服务接口;所述构件采用服务注册的形式定义构件的接口数据、交互和日志内容;所述数据服务层包括数据处理、数据分析和数据挖掘;所述数据处理包括数据清洗、数据解析、数据判读和数据建模;所述数据分析包括数据建模、算法建模、数据统计和数据可视化;所述数据挖掘包括算法建模、机器学习、模型评估和数据重构。
4.根据权利要求1所述的基于PaaS平台的工业大数据计算系统,其特征在于,所述信息管理层包括:数据管理、知识管理、算法管理、文件管理和资源配置管理;所述集群管理层包括:运行监控、服务管理、作业调度、节点管理和资源监控。
5.根据权利要求1所述的基于PaaS平台的工业大数据计算系统,其特征在于,所述数据存储层能够将实时热数据保存在Hana内存数据库中,将海量使用频率低的冷数据保存在HBase分布式列数据库中。
6.根据权利要求5所述的基于PaaS平台的工业大数据计算系统,其特征在于,所述的PaaS云平台层使用Docker容器,通过监控集群资源负载情况和数据库量,快速调节资源的分配并实现快速移植实施,Docker容器能够动态地将数据分配给数据存储层的Hana内存数据库或HBase分布式列数据库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京航天测控技术有限公司,未经北京航天测控技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711338413.0/1.html,转载请声明来源钻瓜专利网。