[发明专利]数据分流系统

说明书

本发明公开了一种数据分流系统，包括数据发送端和一个或多个数据接收端。用于自动获取数据的数据发送端将数据压缩后分别发送到指定的一个或多个数据接收端，数据接收端解压存放该数据；数据发送端设置分配单元，分配单元为不同类型或节点的数据对应分配不同的数据接收端，数据发送端根据分配单元的分配将不同类型或节点的数据对应发送到不同的数据接收端。数据发送端用于从一个或多个目录中自动获取数据，然后根据分配，将数据发送到本机的其他目录或者其他主机的数据接收端。同时在整个过程中，会实时的统计经过此发送端程序的所有文件，并且按照节点编号和数据类型进行分类统计，可实现对节点实时流量的监控。

技术领域

本发明涉及网络数据传输技术领域，尤其涉及一种数据分流系统。

背景技术

网络数据还原和分析是一些企业和政府部门进行网络异常检查，检测网络攻击，分析用户行为的常见手段。整个过程需要把还原后的数据文件导入到大数据平台进行挖掘分析。在整个环节中，还原的数据有多种类型，检测的网络节点也有多个，如何把不同节点获取的数据进行传输，同时把一个来源的数据一分为二甚至一分为多，是大数据检测平台中需要解决的一个问题。

发明内容

本发明的目的就在于为了解决上述问题而提供一种数据分流系统。

为了实现上述目的，本发明提供一种数据分流系统，包括数据发送端和多个数据接收端。用于获取数据的数据发送端将数据压缩后分别发送到指定的一个或多个数据接收端，数据接收端解压存放该数据；

数据发送端设置分配单元，分配单元可以为不同类型或节点的数据对应分配不同的数据接收端，数据发送端根据分配单元的分配将不同类型或节点的数据对应发送到不同的数据接收端。

可选地，数据发送端设置统计单元，统计单元统计数据发送端往数据接收端发送的数据文件，并按数据的节点、类型进行结果记录。

可选地，数据发送端设置配置单元，配置单元为特定节点或特定类型的数据文件配置优先级传输。

可选地，数据接收端为以下任意一种或多种：标准数据接收端程序、标准分布式数据池数据接收程序、SFTP服务端。

可选地，数据接收端的支持存储磁盘设置阈值，存储磁盘的存储率达到设定阈值时，该数据接收端停止接收数据文件。

本发明的有益效果在于：

本发明涉及的数据分流系统，提供了一个稳定且可靠的方式对数据进行传输及分流，同时对数据进行统计及流量控制，能极大的提升大数据平台的数据稳定性。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1是本发明所述的数据分流系统的框架图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

如图1所示，本发明涉及的数据分流系统，包括数据发送端和多个数据接收端，用于获取数据的数据发送端将数据压缩后分别发送到指定的多个数据接收端，数据接收端解压存放该数据。如发送端发送的是未压缩的文件，接收端可以直接进行接收，若发送端发送的是压缩文件，接收端可自动识别并解压存放。

数据发送端能够自动获取数据文件，把文件分流到不同的数据接收端，且可确保不同数据接收端接收的文件一致。同时数据发送端也支持对指定的文件进行发送。