[发明专利]一种基于Shell的应用在系统间文件交互中的处理方法

说明书

本发明提供一种基于Shell的应用在系统间文件交互中的处理方法，包括步骤：(1)将与本系统相关的数据源的关键信息进行参数配置；(2)从数据库中获取数据源和数据文件参数，根据参数进行初始化处理；(3)通过FTP或SFTP命令按数据源信息自动创建文件传输连接，使用特征自动检索源路径，判断对应数据源的数据文件是否就绪；(4)在抓取数据文件后，根据OK中登记的源文件条数和获取的数据文件条数进行对比，确保获取到的数据文件完整；(5)利用sed命令对文件进行切割处理；(6)对已经切割后的子数据文件或符合设置要求的源数据文件进行并发处理；(7)对导入完成的数据进行统计，与获取的文件记录数进行对比，确保已经处理和导入的数据完整。

技术领域

本发明涉及一种文件交互处理，尤其是涉及一种基于Shell的应用在系统间文件交互中的处理方法。

背景技术

鉴于公司在金融软件项目的实施交付过程中，经常遇到所交付系统与客户现有其他系统的多对多的复杂交互场景，由于不同客户对系统的要求不同，不同客户的现有系统情况都不尽相同，系统间关系和技术规范也存在较多差异，在实际的实施工作中此部分工作常常占用实施团队较多的开发和实施时间，降低了实施效率，造成了人力、物力和财力的严重浪费。

发明内容

本发明提供了一种基于Shell的应用在系统间文件交互中的处理方法，解决了项目实施交付过程中的多数据源多文件(多数据源多文件，其中数据源是指提供数据源文件的系统，文件是指数据文件，多数据源多文件，即应用系统从多个系统中各自获取多个数据文件)的交互场景中的问题，其技术方案如下所述：

一种基于Shell的应用在系统间文件交互中的处理方法，所述系统需要兼容Linux系统，包括下列步骤：

S1：参数配置：将与本系统相关的数据源的关键信息进行参数配置，为所有数据源的IP、对接用户、数据路径、接入文件、接入频率、数据分割符提供参数化配置，同时设定工具(即，承载本文所述处理方法的shell脚本)的入参定义，支持JAVA或其他shell脚本程序调用时传入参数，也支持通过数据库自动获取参数；

S2：参数获取：从数据库中获取数据源和数据文件参数，并根据参数进行初始化处理；

S3：轮询识别：根据入参中的数据源IP地址、数据源用户名、数据源密码，通过FTP或SFTP命令按数据源信息自动创建文件传输连接，并使用文件名称或OK文件作为特征自动检索源路径，以判断对应数据源的数据文件是否已经准备就绪；

S4：数据校验：在抓取数据文件后，根据OK中登记的源文件条数和获取的数据文件条数进行对比，以确保获取到的数据文件完整；

S5：文件切割：利用sed命令对文件进行切割处理，将一个数据文件按文件大小切割成多个子数据文件；

S6：并发导入：对已经切割后的子数据文件或符合设置要求的源数据文件进行并发处理；

S7：结果验证：对导入完成的数据进行统计，与获取的文件记录数进行对比，确保已经处理和导入的数据完整。

进一步的，步骤S1中，所述关键信息包括数据源编号、数据源名称、交互方式、文件获取方式、数据源服务器地址、数据源服务器端口号、数据源服务器名称、数据源服务器密码、数据源服务器目录、OK文件类型、取数轮询间隔时间、本地接收路径、本地备份路径、本地数据库用户名、本地数据库密码、导入轮询间隔时间、数据分隔符，以及交互文件的相关参数。

步骤S1中，所述相关参数包括文件编码、文件名称、数据源编号、对应库表、文件周期、是否允许重复导入是否支持手工修改、是否批量依赖。

进一步的，步骤S3中，使用二进制传输的方式，通过mget命令批量抓取数据文件和OK文件，并放置到本地路径下。