[发明专利]一种跨网络环境远程部署分布式数据采集节点的方法

摘要

本发明提供一种跨网络环境远程部署分布式数据采集节点的方法，该方法用于针对数据采集系统与数据源相距很远,连接二者的网络环境复杂，网速不稳定的情况下，将采集节点前置，进行基于安全文件传送协议SFTP的文件传输方式的数据采集，针对数据采集的远程跨网络采集、海量数据传输、采集数据时效性和完整性要求高的特点，提供一种跨网络环境远程部署分布式数据采集节点的机制，通过将数据采集节点远程部署，拉近采集节点与数据源的距离，规避了网络环境因素的影响，提高了对原始数据的采集效率。同时采集节点将已经采集好的原始数据进行打包压缩后，基于安全文件传送协议SFTP把文件传输到数据采集系统中，在保证数据安全性的同时，实现了边采集边传输。

主权项

1.一种跨网络环境远程部署分布式数据采集节点的方法, 其特征在于内容包括：数据采集系统基于安全文件传送协议SFTP向各个前置采集节点下发采集任务，任务包括：数据采集规则、数据采集周期，前置采集节点根据采集任务对数据源进行数据采集，在采集数据的同时，前置采集节点对已完成采集的原始数据文件，先进行压缩处理，然后通过安全文件传送协议SFTP上传压缩文件，如果在传输过程中，出现网络异常导致传输失败，前置采集节点记录已传输完成文件列表，下次上传时只传输未上传的文件，数据采集系统接收到上传的压缩文件后，先进行解压处理，然后将解压后原始数据文件，存放到指定目录，后继供上层应用使用；具体的执行步骤说明如下：步骤101：数据采集系统定期将各个前置采集节点的采集任务，以安全文件传送协议SFTP方式下发到各个前置采集节点上，采集任务内容包括数据采集规则、数据采集周期；步骤102：前置采集节点根据采集任务对数据源进行数据采集，采集过程中，根据采集规则和已采集文件列表对数据进行过滤，数据采集周期决定采集节点访问数据源的频率；步骤103：前置采集节点根据已采集数据文件列表和已上传文件列表，来判断当前是否需要上传文件，有，进入到步骤104；没有，进入到步骤109；步骤104：前置采集节点将待上传的数据文件进行压缩，然后通过安全文件传送协议SFTP传输方式上传到数据采集系统的指定目录下，在文件上传过程中，先作为临时文件命名方式上传，等文件完全上传成功后，在重命名为正式文件，如果本次上传过程中由于异常原因中止，则下次采集任务的执行过程中，会将未完成上传的文件，一并上传到数据采集系统中；步骤105：数据采集系统检测到有新上传的采集数据压缩文件后，对压缩文件进行解压处理；步骤106：数据采集系统将解压后的原始数据文件，存放到指定目录下，供其他上层应用系统使用；步骤107：前置采集节点将成功上传的原始数据文件名称，记录到已上传文件列表中；步骤108：前置采集节点根据已采集数据文件列表，判断本次数据采集任务是否已经完成，如果已完成，则进入到步骤109；如果未完成，则进入到步骤103；步骤109：前置采集节点完成本次采集任务后，会将本次采集到的原始数据文件名称，全部记录到已采集文件列表，供下次采集任务过滤使用。