[发明专利]配置驱动的轻量级批量数据处理方法及装置

说明书

本发明公开了一种配置驱动的轻量级批量数据处理方法及装置，涉及自动程序设计领域，包括：初始化环境变量；基于作业配置文件名，获取已配置的作业配置文件，逐步骤进行处理；作业配置文件中配置有完成一个任务所需的具有先后顺序的步骤信息；基于每一步骤信息查找相应的已定义的处理器和已配置的步骤配置文件，已定义的处理器执行对应的步骤，步骤配置文件中配置有每一步骤的运行参数；基于已配置的步骤配置文件，将对应的步骤的运行参数注入到已定义的处理器中；基于业务日期获取相应的业务数据；基于业务数据运行已定义的处理器，直到所有步骤均已经处理完成。本发明通过配置驱动的轻量级批量处理框架，满足短时间内完成批量数据处理的工作。

技术领域

本发明涉及自动程序设计领域中的批量数据处理技术领域，尤其涉及配置驱动的轻量级批量数据处理方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

现有大部分批处理场景通过编写代码方式实现，灵活性较高，但是编码人员的能力却参差不齐，这样容易引入新问题和导致代码冗余。当存在批量修改内容时，需要修改分散在各处的源码，容易出现修改不完整和带入更多的问题。

发明内容

本发明实施例提供一种配置驱动的轻量级批量数据处理方法，用以解决存在批量修改内容时，需要修改分散在各处的源码，容易出现修改不完整和带入更多的问题，该方法包括：

输入作业配置文件名和业务日期；

初始化环境变量；

基于所述作业配置文件名，获取已配置的作业配置文件，逐步骤进行处理；其中，所述作业配置文件中配置有完成一个任务所需的具有先后顺序的步骤信息；

基于每一步骤信息查找相应的已定义的处理器和已配置的步骤配置文件；其中，所述已定义的处理器用于执行对应的步骤，所述步骤配置文件中配置有每一步骤的运行参数；

基于已配置的步骤配置文件，将对应的步骤的运行参数注入到已定义的处理器中；

基于业务日期获取相应的业务数据；

基于所述业务数据运行已定义的处理器，直到所有步骤均已经处理完成。

本发明实施例还提供一种配置驱动的轻量级批量数据处理装置，用以解决存在批量修改内容时，需要修改分散在各处的源码，容易出现修改不完整和带入更多的问题，该装置包括：

输入模块，用于输入作业配置文件名和业务日期；

环境变量初始化模块，用于初始化环境变量；

作业配置文件获取模块，用于基于所述作业配置文件名，获取已配置的作业配置文件，逐步骤进行处理；其中，所述作业配置文件中配置有完成一个任务所需的具有先后顺序的步骤信息；

处理器和步骤配置文件查找模块，用于基于每一步骤信息查找相应的已定义的处理器和已配置的步骤配置文件；其中，所述已定义的处理器用于执行对应的步骤，所述步骤配置文件中配置有每一步骤的运行参数；

运行参数注入模块，用于基于已配置的步骤配置文件，将对应的步骤的运行参数注入到已定义的处理器中；

业务数据获取模块，用于基于业务日期获取相应的业务数据；

处理器运行模块，用于基于所述业务数据运行已定义的处理器，直到所有步骤均已经处理完成。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述配置驱动的轻量级批量数据处理方法。