[发明专利]业务数据机器智能化处理平台

说明书

本申请涉及业务数据机器智能化处理平台，其包括自下而上的容器层、Web端和Client端；容器层对开源组件apache zeppelin进行封装；Web端用于监控所述容器层并进行数据展示；Client端用于访问登录Web端。本申请具有改善开源组件apache zeppelin在用户基数很大的情况下出现性能问题的效果，实现了分布式一键部署看扩展，并达到了负载均衡的效果，突破了性能瓶颈；也便于用户进行写作、编辑代码；优化了调度功能和作业监控功能。

技术领域

本申请涉及数据处理技术领域，尤其是涉及业务数据机器智能化处理平台。

背景技术

集数据整合、数据处理、数据存储、数据分析、可视化等功能于一体的数据处理平台，能够帮助数据挖掘人员挖掘数据背后的业务逻辑，发现数据背后的问题，以使数据挖掘人员能够根据数据背后的问题对自己的业务进行及时的分析和调整。

目前，大数据平台hadoop生态圈板块统一开发平台，集成了hadoop生态圈中比较热门的板块，如hive、hbase、spark等。

开源组件apache zeppelin则将hadoop和关系型数据库中的数据进行相互转移，将一个关系型数据库中的数据导入到Hadoop的HDFS中，或者，将HDFS的数据导入到关系型数据库中。

但是，在用户基数很大的情况下，现有的开源组件apache zeppelin会出现性能问题，与部分组件集成不稳定。

针对上述中的相关技术，发明人认为存在有现有的开源组件apache zeppelin在用户基数很大的情况下会出现性能问题的缺陷。

发明内容

为了改善开源组件apache zeppelin在用户基数很大的情况下出现的性能问题，本申请提供了业务数据机器智能化处理平台。

本申请提供的业务数据机器智能化处理平台采用如下的技术方案：

业务数据机器智能化处理平台，包括自下而上的容器层、Web端和Client端；

所述容器层对开源组件apache zeppelin进行封装；

所述Web端用于监控所述容器层并进行数据展示；

所述Client端用于访问登录所述Web端。

通过采用上述技术方案，容器层对开源组件apache zeppelin进行封装，实现了数据与程序的分离，使得数据持久化到容器外部存储中，扩展数据存储空间和数据处理速度；Web端监控容器层，以获取获取容器层中的容器个数、容器中开源组件apache zeppelin信息等，并进行数据展示；Client端用于访问登录Web端，通过Web端即可查看到容器层中开源组件apache zeppelin相关的调度和作业信息，起到半透明的作用；进而通过容器层、Web端、Client端的架构方式，实现了分布式一键部署看扩展，并达到了负载均衡的效果，突破了性能瓶颈，以在用户基数很大的情况下，改善开源组件apache zeppelin出现的性能问题，使得开源组件apache zeppelin与部分组件的集成稳定。

可选的，所述Web端新增笔记管理模块，以进行数据可视化和写作，实现调度工作。

通过采用上述技术方案，笔记管理模块使得数据可视化，同时，便于用户进行写作、编辑代码，解决了现有组件的调度简陋、调度功能单一的问题，优化了开源组件apachezeppelin的调度功能。

可选的，所述笔记管理模块包括笔记本刷新单元、导入笔记单元、创建笔记单元和笔记列表单元；

所述笔记本刷新单元用于刷新并重新加载笔记本列表；

所述导入笔记单元用于导入笔记到所述Web端；