[发明专利]用于大数据处理与分析模型的快速开发框架及其构建方法

权利要求书

1.一种用于大数据处理与分析模型的快速开发框架，其特征在于，包括：

模型管理组件，用于根据提供的统一模型接口接收符合定义的分析模型，且将所述分析模型进行注册并存储以供查询，还将通用的所述分析模型作为通用模型以供调用，以实现所述分析模型的快速开发与管理；

任务架构组件，用于接收并管理多个与所述分析模型对应的任务，且将所述任务与对应的所述分析模型绑定后执行所述分析模型；还对执行结束后得到的任务结果数据进行管理，以实现所述分析模型的快速迭代；

页面展示组件，用于展示所述模型管理组件和所述任务架构组件中的相关信息，以提供直观的管理界面；

基础设施组件，用于为所述模型管理组件、所述任务架构组件和所述页面展示组件提供基础功能和对外服务接口，以及API接口。

2.根据权利要求1所述的快速开发框架，其特征在于，所述模型管理组件包括模型接口模块、模型注册模块、模型查询模块和通用模型模块；

所述模型接口模块提供统一模型接口并接收符合所述统一模型接口定义的分析模型，所述模型注册模块将所述分析模型进行注册并统一存储，所述模型查询模块提供所述分析模型的查询功能，所述通用模型模块提供通用的分析模型以供调用。

3.根据权利要求2所述的快速开发框架，其特征在于，所述统一模型接口定义了分析模型需要实现的方法，包括dform方法、check方法、run方法、metadata方法和info方法；

所述dform方法用于定义所述分析模型在所述页面展示组件中的展现形式，所述check方法用于检查所述分析模型的执行参数是否正常，所述run方法用于编写所述分析模型中的数据处理与分析逻辑，所述metadata方法用于携带所述分析模型的描述信息，所述描述信息包括模型唯一标识、模型名称、模型所属类别、模型功能描述以及用于页面展示的模型图标名称，所述info方法用于输出在所述分析模型执行过程中需要保存的信息。

4.根据权利要求1所述的快速开发框架，其特征在于，所述任务架构组件包括任务信息模块、任务状态管理模块、任务列表管理模块、任务调度执行模块和任务数据管理模块；

所述任务信息模块提供多个与所述分析模型对应任务的任务信息，所述任务的任务信息至少包括用户唯一标识、任务唯一标识、模型唯一标识、用户名称、任务名称、模型名称，所述任务状态管理模块管理所述任务在执行过程中的状态信息，所述任务列表管理模块将所述任务保存至任务列表中进行统一管理，且将所述任务列表分别保存在内存和分布式文件存储系统中，所述任务调度执行模块将所述任务与对应的所述分析模型绑定后，采用同步或异步调度模式调用所述分析模型执行所述任务，所述任务数据管理模块对执行结束后得到的任务结果数据进行管理。

5.根据权利要求4所述的快速开发框架，其特征在于，所述将所述任务与对应的所述分析模型绑定后，采用同步或异步调度模式调用所述分析模型执行所述任务，包括：

确认所述任务提交的部分任务信息合法后，补全所述任务信息；

确认所述任务与对应的所述分析模型绑定后，判断采用同步或异步调度模式调用所述分析模型执行所述任务；

若采用同步调度模式，则直接调用所述分析模型执行所述任务，并在执行结束后返回所述任务的任务唯一标识；若采用异步调度模式，则启动一个子线程调用所述分析模型执行所述任务，且主线程同时返回所述任务的任务唯一标识。

6.根据权利要求5所述的快速开发框架，其特征在于，所述执行所述任务，包括：

调用所述分析模型执行所述任务，并判断所述任务是否执行成功；

若是，将执行结束后得到的任务结果数据持久化保存至分布式文件存储系统中，并在所述任务的状态信息中添加任务结果条数、任务结果大小和任务备注；否则，在所述任务的状态信息中添加失败原因；

在所述任务的状态信息中添加任务结束时间后，将所述任务列表中的任务状态更新为已完成，并将所述任务的状态信息持久化保存至分布式文件存储系统中。