[发明专利]多引擎大数据平台

权利要求书

1.多引擎大数据平台，其特征在于，包括存储引擎、资源管理系统、计算引擎、分析引擎、交互终端、用户管理系统、任务管理系统、数据管理系统，所述存储引擎用于实现结构化数据、非结构化数据的存储和查询功能，所述资源管理系统用于实现不同部门、不同场景下的不同类型作业的资源管理功能，所述分析引擎用于实现不同场景的分析功能，所述计算引擎用于作为所述分析引擎的基础以提供大数据的分析处理功能，所述交互终端用于实现不同终端的用户统一和权限统一，所述用户管理系统用于实现多用户管理功能，所述任务管理系统用于形成全流程自动化的任务运行机制，所述数据管理系统用于实现规范、有序的数据管理功能；所述存储引擎与所述资源管理系统和所述用户管理系统通过计算机应用程序接口和网络实现数据交换，所述资源管理系统还与所述计算引擎通过计算机应用程序接口和网络实现数据交换，所述任务管理系统分别与所述资源管理系统和所述计算引擎通过计算机应用程序接口和网络实现数据交换，所述计算引擎还与所述分析引擎通过计算机应用程序接口和网络实现数据交换，所述分析引擎还分别与所述交互终端和所述数据管理系统通过计算机应用程序接口和网络实现数据交换；

所述存储引擎包括关系型数据库、非关系型数据库、搜索引擎以及分布式文件系统；所述关系型数据库用于存储结构化数据，所述非关系型数据库用于存储非结构化数据，所述搜索引擎用于实现所述关系型数据库和所述非关系型数据库的数据查询、搜索功能，所述分布式文件系统用于把大量数据分散到不同节点上存储以减小数据丢失风险；

所述计算引擎包括分布式计算引擎、内存计算引擎、液式计算引擎，所述分布式计算引擎用于提供大规模数据集的分布式并行运算能力，所述内存计算引擎用于实现数据挖掘场景下需要多次迭代的复杂运算模式的功能，所述液式计算引擎为针对流数据和批数据的分布式实时处理引擎；

所述分析引擎包括SQL批处理引擎、SQL交互式查询引擎、机器学习引擎、深度学习引擎、图分析引擎、流式分析引擎，所述SQL批处理引擎用于实现数据库的搜索查询功能，所述SQL交互式查询引擎用于实现数据库的交互式查询功能，所述机器学习引擎用于实现数据库的机器学习功能，所述深度学习引擎用于实现数据库的深度学习功能，所述图分析引擎用于实现数据库的图分析功能，所述流式分析引擎用于实现数据库的自然语言分析功能。

2.根据权利要求1所述的多引擎大数据平台，其特征在于，所述数据管理系统包括数据导入模块和数据资产模块，所述数据导入模块用于实现数据导入管理功能，所述数据资产模块用于规划HDFS存储目录结构、制定HBase命名空间与Hive库表对象等命名规范以及提供数据资产查询功能，以实现对数据资产的有效管理以及帮助用户快速使用数据。

3.根据权利要求1所述的多引擎大数据平台，其特征在于，所述任务管理系统包括作业封装模块和任务调度模块，所述作业封装模块利用Shell/Perl脚本封装作业程序、配置作业依赖形成作业流，所述任务调度模块用于将作业流部署至Control-M作业调度服务器以及监控作业流的运行状态。

4.根据权利要求1所述的多引擎大数据平台，其特征在于，所述用户管理系统包括前端用户管理模块和Hadoop用户管理模块；所述前端用户管理模块用于为前端用户定义访问权限和操作权限；所述Hadoop用户管理模块采用标准RBAC模型，通过给用户绑定角色来赋予用户对象的访问权限，以用户-部门-角色-权限的关系链路来指定用户的操作权限，在用户维度上，按照业务部门、业务应用的粒度来创建用户，在角色维度上，对于每一个用户都绑定了普通角色和租户角色两个角色，普通角色赋予用户对HDFS、HBase、Hive数据对象的操作权限，租户角色赋予用户访问租户服务和资源的权限。

5.根据权利要求1所述的多引擎大数据平台，其特征在于，所述交互终端包括大数据开源工具有SAS EG、Zeppelin以及Jupyter Notebook。

6.根据权利要求1所述的多引擎大数据平台，其特征在于，所述分布式计算引擎采用MapReduce，所述内存计算引擎采用Spark，所述液式计算引擎采用Flink。