[发明专利]一种应用程序的开发方法及开发平台

说明书

技术领域

本发明涉及计算机计算领域，更具体的，涉及一种应用程序的开发方法及开发平台。

背景技术

传统的分布式应用程序开发，通常包括以下步骤：读取要处理的输入数据源；将输入数据转换为自定义的数据结构；编写应用逻辑，调用分布式计算框架接口，进行数据处理和计算，不同计算框架都会提供自己的处理接口；计算结果产出；编写主函数，配置分布式作业使用的各种相关配置。

目前，主要有Hadoop、spark和storm等开源分布式计算框架，实现各种分布式批量和流式实时计算场景。然而，直接基于这些开源框架开发应用程序时，开发人员需要了解Hadoop、spark和storm等各种底层框架技术和框架细节，学习成本高。应用程序与底层框架耦合度高，如果需要使现有的开源分布式计算框架增加一种新的计算场景，或者支持一个新的业务组件，需要修改大量的应用代码，计算框架的可扩展性差且维护成本高。

因此，基于现有的开源分布式计算框架进行应用程序的开发，开发成本和维护成本高。

发明内容

有鉴于此，本发明提供了一种应用程序的开发方法及开发平台，将传统的数据处理过程抽象分解成多个独立的数据处理步骤，并通过一套完整的配置参数来约束开发规范，将各分布式计算框架提供的各个原语进行封装，提供统一的实现接口，并统一输入输出数据结构，使应用程序开发过程中数据处理逻辑更清晰、更合理、更规范，降低开发和维护成本。

具体技术方案如下：

一种应用程序的开发方法，所述方法应用于应用程序开发平台，包括：

接收并解析携带有配置参数的应用程序开发任务，得到所述应用程序开发任务中的待处理数据和数据处理逻辑；

根据所述数据处理逻辑，将所述应用程序开发任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序；

确定各个所述数据处理步骤对应的数据处理逻辑实现类，并根据各个所述数据处理逻辑实现类和各个所述数据处理步骤的顺序生成处理链；

调用预设数据处理接口和预设输入输出接口，控制所述处理链中的各个所述数据处理逻辑实现类继承所述预设数据处理接口，对所述待处理数据进行数据处理。

优选的，在所述调用预设数据处理接口，之前还包括：

根据所述配置参数的规定，对所述待处理数据和运行环境的环境变量进行统一前处理。

优选的，在所述对所述待处理数据进行数据处理，之后还包括：

根据所述配置参数的规定，对处理后的数据进行统一后处理，并将所述运行环境的环境变量恢复为默认状态。

优选的，所述确定各个所述数据处理步骤对应的数据处理逻辑实现类，并根据各个所述数据处理逻辑实现类和各个所述数据处理步骤的顺序，生成处理链，包括：

对各个所述数据处理步骤进行解析，得到各个所述数据处理步骤的类型和方法；

确定与每一个所述数据处理步骤的类型和方法相对应的数据处理逻辑实现类。

优选的，所述调用预设数据处理接口和预设输入输出接口，控制所述处理链中的各个所述数据处理逻辑实现类继承所述预设数据处理接口，对所述待处理数据进行数据处理，包括：

调用预设数据处理接口，依次控制所述处理链中的各个所述数据处理逻辑实现类按顺序继承所述预设数据处理接口；

调用预设输入输出接口，依次控制所述处理链中所述各个数据处理逻辑实现类接收上一个数据处理逻辑实现类得到的中间数据，所述第一个数据处理逻辑实现类接收所述待处理数据；调用预先封装的多个数据操作原语，对所述中间数据进行处理；并将得到的中间数据输出到下一个数据处理逻辑实现类，直到得到最终数据处理结果。

一种应用程序开发平台，包括：

解析单元，用于接收并解析携带有配置参数的应用程序开发任务，得到所述应用程序开发任务中的待处理数据和数据处理逻辑；

分解单元，用于根据所述数据处理逻辑，将所述应用程序开发任务分解为多个数据处理步骤，并确定各个所述数据处理步骤的顺序；

生成单元，用于确定各个所述数据处理步骤对应的数据处理逻辑实现类，并根据各个所述数据处理逻辑实现类和各个所述数据处理步骤的顺序生成处理链；

处理单元，用于调用预设数据处理接口和预设输入输出接口，控制所述处理链中的各个所述数据处理逻辑实现类继承所述预设数据处理接口，对所述待处理数据进行数据处理。

优选的，所述应用程序开发平台还包括：