[发明专利]一种用于处理大量数据的数据处理系统及其处理方法

说明书

本发明公开了一种用于处理大量数据的数据处理系统及其处理方法，所述系统包括分析前处理子系统(1)、分析处理服务器(2)、存储服务器(3)和盘柜(4)，所述分析前处理子系统(1)包括物理防火墙和至少两台虚拟机；所述方法如下进行：先在分析前处理子系统(1)进行分析前数据处理，然后将前处理后的数据输出至分析处理服务器(2)，并在分析处理服务器(2)内进行数据分析，获得分析数据，且将分析数据输出至存储服务器(3)和盘柜(4)，最后在存储服务器(3)上查询分析数据。本发明所述系统将数据分析前处理、数据分析、数据存储分别在不同的服务器上进行，这样减少了在一台物理机上的负载，进而提高了各处理过程的处理速度。

技术领域

本发明涉及数据处理领域，尤其涉及大量数据的，特别地，涉及一种用于处理大量数据的数据处理系统及其处理方法。

背景技术

在实际应用中，为了从大量数据中得到相关的结论或判断，需要采用适当的统计分析方法对所述大量数据进行分析。但是由于大量数据的数据量较大、且为不信任数据，因此，在进行数据分析前需要对大量数据进行前处理。其中，所述不信任数据是指数据源为网络或无法认证可靠性的数据供应商，其可能含有病毒或木马程序，若直接将这些数据接入系统进行数据分析，会造成不可估量的损失。并且，在不信任数据中可能存在一些后期分析时不需要的垃圾数据，如果不对所述垃圾数据在数据分析前进行处理，很可能会增大数据分析的难度，并且导致数据分析不精确等。

因此，在对大量数据进行分析前处理。

在现有技术中，一般采用杀毒软件进行大量数据分析前处理，但是，采用杀毒软件只能进行杀毒，而不能对数据进行筛选处理，过滤掉不需要的垃圾数据，从而减轻后期分析的工作量。

在现有技术有，在对大量数据进行分析前处理、数据分析以及后期数据查询和数据备份时，是在一台物理机上进行，这样，会对所述物理机造成较大负荷，进而使得分析前处理和分析处理的速度较低。

因此，亟需一种用于处理大量数据的数据处理系统及其处理方法。

发明内容

为了克服上述问题，本发明人进行了锐意研究，设计出一种处理大量数据的数据处理系统及其处理方法，其中，将多台虚拟机与物理防火墙联用，进行数据分析前处理，然后在分析处理服务器和存储服务器上分别进行数据分析和数据存储，这样，使得数据分析前处理、数据分析以及后期数据存储在不同服务器上进行，共同形成用于处理大量数据的数据处理系统及其处理方法，从而完成本发明。

本发明一方面提供了一种处理大量数据的数据处理系统，具体体现在以下方面：

(1)一种用于处理大量数据的数据处理系统，其中，所述系统包括

分析前处理子系统1，用于对在数据分析前对数据进行处理，并将处理后的数据输出给分析处理服务器2；

分析处理服务器2，用于进行数据分析，并分别向存储服务器3和盘柜4输出分析数据；

存储服务器3，用于储存分析数据，以及数据查询；和

盘柜4，用于对分析处理服务器2输出的分析数据进行备份；

其中，所述分析前处理子系统1包括物理防火墙和至少两台虚拟机，其中，所述虚拟机中至少有两台虚拟机处于不同的局域网中。

(2)根据上述(1)所述的系统，其中，所述系统包括第一虚拟机11、第二虚拟机12和物理防火墙13，其中，

所述第一虚拟机11和所述第二虚拟机12处于不同的局域网中；

所述大量数据通过物理防火墙13从第一虚拟机11传输给第二虚拟机12，再由第二虚拟机12通过物理防火墙13输出数据分析系统；