[发明专利]一种大数据分析模型业务开发生成和管理系统

摘要

本发明公开了一种大数据分析模型业务开发生成和管理系统，它包括用户端、服务端和云计算与存储平台，所述的用户端包括用户模型设计与生成子系统和模型本地数据库，所述的服务端包括：租户管理子系统，模型审核交易子系统，模型解释与编译子系统，模型执行调度子系统，模型元数据管理子系统，计算结果展示子系统，模型交易数据库，元数据库，模型API数据库。该框架采用计算、模型与存储资源的集中分布式可控、可管、可交易的高效大数据运维模式，具体涵盖分布式数据存储计算平台、模型设计与生成、模型管理与交易、模型质量审核与验证、模型解释与执行、租户管理与访问控制等六大功能。

主权项

1.一种大数据分析模型业务开发生成和管理系统，它包括用户端、服务端和云计算与存储平台，其特征在于：所述的用户端包括用户模型设计与生成子系统和模型本地数据库，用户模型设计与生成子系统，提供可视化的模型分析、设计、测试、发布、执行结果图形化展示功能，模型本地数据库存储本地模型数据；/n所述的用户模型设计与生成子系统提供图形化的用户大数据分析模型开发生成界面，同时系统开放已有的分析模型业务能力调用，供用户使用，提供分析模型运行、结果展示、模型发布、购买的功能，促进大数据分析模型的分享和复用；/n用户模型设计与生成子系统包括以下术语和基本概念：/n1）模型：一个模型是多个步骤通过跳连接形成的逻辑DAG网络；模型由步骤、跳、 模型入口和模型设置构成；一个单一的模型入口可以在画布上多次放置；模型设置是控制一个模型行为和记录一个模型操作的方法的选项；模型由 多个组合模型构成；组合模型由多个子组合模型构成；最小子组合模型由多个原子模型组成；一个最小组合模型中可包含多个顺序执行的原子模型；原子模型由一个或多个基础模型构成；基础模型：批处理和流式MapRedurce和Spark两类基础模型，构成原子 模型的单独基础模型可以是批处理模型也可以是流式处理模型；/n2）步骤和跳：步骤是MapReduce或Spark数据处理模型组件，包括文本文件输入或Hive表输出；用户模型设计与生成子系统中提供超过140种按功能分组的步骤；跳是连接步骤的数据通路，允许数据在两步骤间传递，一个步骤可以有许多跳连接，有一些是把两个步骤连接在一起，有一些则只是作为一个步骤的输入或输出，在一个转换中数据从一个步骤流向不同的步骤，用户模型设计与生成子系统中用一个箭头代表跳，跳允许数据在步骤间传递，还决定数据流间的流动方向，如果一个步骤把输出发送到一个以上的后续步骤，那么数据或被复制到每一个后续步骤，或分布于后续步骤上；/n3）用户组：包含多个用户的组，组中用户可以实现数据、业务、模型的共享；/n4）用户：系统使用人员和管理人员；/n5）用户角色：系统管理员、模型设计管理员、业务设计管理员、数据管理员、业务使用者、数据使用者；/n6）业务：一项数据载入、分析展示业务，业务包含多个模型；/n7）数据权限：包括可读、可写、可查三类；/n8）业务权限：包括可读、可写、可查、可执行四类；/n所述的服务端包括：/n租户管理子系统，提供多租户模型使用管理、计费、统计分析功能；/n模型审核交易子系统，提供模型发布、后台审核、运行时验证、订单提交、订单审核、订单支付功能；/n模型解释与编译子系统，提供模型功能解释分析、模型编译与作业生成功能；/n模型执行调度子系统，提供多用户分布式模型执行调度功能；/n模型元数据管理子系统，提供包括模型标签化描述、模型库API关联、模型交易信息的元数据管理功能；/n计算结果展示子系统，提供多样化模型计算结果展示功能；/n模型交易数据库，存储模型交易相关数据；/n元数据库，存储元数据；/n模型API数据库，存储模型API。/n