[发明专利]用于大数据处理与分析模型的快速开发框架及其构建方法

说明书

本发明公开了一种用于大数据处理与分析模型的快速开发框架及其构建方法，该框架包括：模型管理组件，用于根据提供的统一模型接口接收符合定义的分析模型，且将分析模型进行注册并存储以供查询，还将通用的分析模型作为通用模型以供调用；任务架构组件，用于接收并管理多个与分析模型对应的任务，且将任务与对应的分析模型绑定后执行分析模型；页面展示组件，用于展示模型管理组件和任务架构组件中的相关信息；基础设施组件，用于提供基础功能和对外服务接口以及API接口。本发明可以统一开发、管理、运行大量模型，减少了模型开发者的工作量，有效提高了模型开发效率。

技术领域

本发明涉及开发框架技术领域，具体涉及一种用于大数据处理与分析模型的快速开发框架及其构建方法。

背景技术

大数据时代中，数据的价值稀疏性以及数据与需求的多样化导致模型开发者需要开发大量的数据处理与分析模型来对数据进行处理与分析。随着模型的增多，模型之间的关系越来越复杂，导致模型开发更加困难且难以管理和统一运行。

目前，大多数开发框架都是针对开发和管理应用的，而现有用于开发和管理应用的开发框架难以满足开发大数据处理与分析模型的开发需求，因此缺少一种用于开发大数据处理与分析模型的开发框架，以使模型开发者能够使用该开发框架统一开发、管理和运行模型，来减少模型开发者的工作量并提高模型开发效率。

需要注意的是，本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

发明内容

本发明实施例提供一种用于大数据处理与分析模型的快速开发框架及其构建方法，以解决现有技术中由于缺乏用于开发大数据处理与分析模型的开发框架而使得数据处理与分析模型开发困难且难以管理和统一运行的问题。

第一方面，本发明实施例提供一种用于大数据处理与分析模型的快速开发框架，包括：

模型管理组件，用于根据提供的统一模型接口接收符合定义的分析模型，且将所述分析模型进行注册并存储以供查询，还将通用的所述分析模型作为通用模型以供调用，以实现所述分析模型的快速开发与管理；

任务架构组件，用于接收并管理多个与所述分析模型对应的任务，且将所述任务与对应的所述分析模型绑定后执行所述分析模型；还对执行结束后得到的任务结果数据进行管理，以实现所述分析模型的快速迭代；

页面展示组件，用于展示所述模型管理组件和所述任务架构组件中的相关信息，以提供直观的管理界面；

基础设施组件，用于为所述模型管理组件、所述任务架构组件和所述页面展示组件提供基础功能和对外服务接口，以及API接口。

作为本发明第一方面的优选方式，所述模型管理组件包括模型接口模块、模型注册模块、模型查询模块和通用模型模块；

所述模型接口模块提供统一模型接口并接收符合所述统一模型接口定义的分析模型，所述模型注册模块将所述分析模型进行注册并统一存储，所述模型查询模块提供所述分析模型的查询功能，所述通用模型模块提供通用的分析模型以供调用。

作为本发明第一方面的优选方式，所述统一模型接口定义了分析模型需要实现的方法，包括dform方法、check方法、run方法、metadata方法和info方法；

所述dform方法用于定义所述分析模型在所述页面展示组件中的展现形式，所述check方法用于检查所述分析模型的执行参数是否正常，所述run方法用于编写所述分析模型中的数据处理与分析逻辑，所述metadata方法用于携带所述分析模型的描述信息，所述描述信息包括模型唯一标识、模型名称、模型所属类别、模型功能描述以及用于页面展示的模型图标名称，所述info方法用于输出在所述分析模型执行过程中需要保存的信息。