[发明专利]一种springbatch嵌套脚本实现文件导出的方法

说明书

本发明提供一种springbatch嵌套脚本实现文件导出的方法，涉及文件数据导出领域。该springbatch嵌套脚本实现文件导出的系统，包括Step端，所述Step端分别连接有A1.yak端、A2.yak端和A3.yak端，所述A1.yak端、A2.yak端和A3.yak端连接有本地文件A，所述Step端还通过脚本putfile.sh连接有目标文件服务器文件A，所述多线程并发处理批量，step调用之后，朝目标文件服务器传送文件，如果step为分片step则会触发文件合并。本发明中，该方法在批量执行步骤中，生成文件A时分为采用切片step文件导出方式，并且调用putfile.sh文件导出到目标文件服务器，不同的脚本放置到指定位置的指定目录下，程序根据传入的命令进行文件导出操作，实现不同的导出需求，使得数据导出这一功能的实现更加高效、简便，提高了复用性。

技术领域

本发明涉及文件数据导出领域，具体为一种springbatch嵌套脚本实现文件导出的方法。

背景技术

在软件系统中数据导出是不可或缺的一个功能，系统中所查询出的数据并不能完全满足业务场景的分析，通常需要导出为数据文件或表格，进行二次加工后再进行数据分析、数据统计等，通常针对不同场景的导出功能，需要针对性的完成该场景的导出功能。

随着社会的不断发展，业务系统在日常使用中会产生大量的业务数据，而随着业务服务的多元化，大多应用都会由多个业务系统共同组成。例如，外卖应用的业务系统可以包含订单系统、会员系统、配送系统、计费系统等等。每个业务系统在处理各自的业务时，都会对应产生各自的业务数据，业务人员需要下载业务系统的业务数据，以便对业务数据进行分析处理。

传统的业务数据导出方法，业务人员在需要对业务应用中某个或多个业务系统的业务数据进行导出时，会在业务前端创建一条或多条导出任务，然后业务系统获取任务并执行，在业务系统的数据库中查询对应的业务数据，最后将对应的业务数据导出。但是，使用传统数据导出方法，数据导出过程会和业务系统相互耦合，当导出数据量过多时，会占用大量业务系统的CPU、内存等资源，影响业务功能的正常使用，降低用户的前端体验。

基于此，本领域技术人员提供了一种springbatch嵌套脚本实现文件导出的方法，以解决上述背景技术中提出的问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种springbatch嵌套脚本实现文件导出的方法，该方法在批量执行步骤中，生成文件A时分为采用切片step文件导出方式，并且调用putfile.sh文件导出到目标文件服务器，不同的脚本放置到指定位置的指定目录下，程序根据传入的命令进行文件导出操作，实现不同的导出需求，使得数据导出这一功能的实现更加高效、简便，提高了复用性，解决了使用传统数据导出方法，数据导出过程会和业务系统相互耦合，当导出数据量过多时，会占用大量业务系统的CPU、内存等资源，影响业务功能的正常使用，降低用户的前端体验的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种springbatch嵌套脚本实现文件导出的系统，包括Step端，所述Step端分别连接有A1.yak端、A2.yak端和A3.yak端，所述A1.yak端、A2.yak端和A3.yak端连接有本地文件A，所述Step端还通过脚本putfile.sh连接有目标文件服务器文件A。

优选的，所述多线程并发处理批量，step调用之后，朝目标文件服务器传送文件，如果step为分片step则会触发文件合并。

优选的，所述Step端与A1.yak端、A2.yak端和A3.yak端分别通过线程1、线程2和线程3相连接。

优选的，一种springbatch嵌套脚本实现文件导出的方法，其特征在于，包括以下过程：