[发明专利]一种数据文件传输实现方法和系统

说明书

本发明实施例公开了一种数据文件传输实现方法和系统，该方法包括：在服务器端Master接收下发的数据传输任务，并获取任务配置信息；任务配置信息包括以下任意一种或多种：数据源信息、数据接收端信息、数据传输通道传输方式、数据传输协议类型以及通道属性信息；根据任务配置信息创建一个或多个由客户端Worker服务和数据接收服务建立的数据传输通道；以通过Worker服务和数据接收服务进行数据文件传输。该实施例方案通过自动创建数据传输通道的方式，以文件的形式进行数据并行传输交换，实现了大量数据中心节点之间的数据传输，极大的缩短了安装部署时长和数据传输时长，并简化了运维工作的难度。

技术领域

本发明实施例涉及数据传输技术，尤指一种数据文件传输实现方法和系统。

背景技术

随着互联网的飞速发展，大规模、超大规模的数据中心越来越成为现代社会发展的需要。这就为数据中心之间以及数据中心内部高效、快速、可靠、安全的数据传输交换带来巨大挑战。一些拥有几百节点、几千节点的数据中心的数据传输交换难度已经非常大，更何况目前的发展趋势下几万节点、几十万节点、甚至几百万节点的数据中心正在逐步产生。例如，两个具有十万节点的数据中心要对数据以文件方式传输交换，由于数据量巨大，采用传统的传输交换方式，由于数据源端和目的端众多，只是安装部署数据发送程序和数据接收程序就要耗费非常多的时间，而且如何监控数据能够完整快速的传输到目的端也非常困难。

发明内容

本发明实施例提供了一种数据文件传输实现方法和系统，能够实现大量数据中心节点之间的数据传输，极大的缩短安装部署时长和数据传输时长，并简化运维工作的难度。

为了达到本发明实施例目的，本发明实施例提供了一种数据文件传输实现方法，所述方法可以包括：

在服务器端Master接收下发的数据传输任务，并获取所述数据传输任务中的任务配置信息；所述任务配置信息包括以下任意一种或多种：数据源信息、数据接收端信息、数据传输通道传输方式、数据传输协议类型以及通道属性信息；所述数据传输通道传输方式包括：聚合传输方式、分发传输方式和多对多传输方式；

根据所述任务配置信息创建一个或多个由客户端Worker服务和数据接收服务建立的数据传输通道；以通过所述Worker服务和所述数据接收服务进行数据文件传输。

在本发明的示例性实施例中，所述根据所述任务配置信息创建一个或多个由客户端Worker服务和数据接收服务建立的数据传输通道可以包括：根据所述任务配置信息在每个数据源端服务器和数据接收端服务器上部署并启动所述Worker服务和所述数据接收服务。

在本发明的示例性实施例中，所述根据所述任务配置信息创建一个或多个由客户端Worker服务和数据接收服务建立的数据传输通道还可以包括：

控制所述Worker服务根据数据传输通道传输方式和所述通道属性信息测试所述数据源端服务器和所述数据接收端服务器之间的网络状况；并建立数据文件传输工具。

在本发明的示例性实施例中，所述数据文件传输工具可以包括以下任意一种或多种：启动心跳控制器、目录文件扫描器、文件过滤器以及文件发送器。

在本发明的示例性实施例中，所述通过所述Worker服务和所述数据接收服务进行数据文件传输可以包括：

在所述数据源端服务器中，通过所述启动心跳控制器、目录文件扫描器、文件过滤器以及文件发送器配合完成数据文件发送。

在本发明的示例性实施例中，所述通过所述启动心跳控制器、目录文件扫描器、文件过滤器以及文件发送器配合完成数据文件发送可以包括：

通过所述心跳控制器接收所述Master发送的心跳，并定时向所述Master发送心跳；