[发明专利]一种基于网络安全的大数据实施系统及方法

说明书

本发明公开了一种基于网络安全的大数据实施系统及方法。该系统的大数据实施平台包括：大数据采集模块、大数据预处理模块、大数据处理模块、网络安全监管模块和控制器；网络安全监管模块包括：网络检测单元、访客验证单元和访问流量监控单元。本发明通过带多种数据接口的数据接受器并行采集多路数据，并对帧打包数据添加优先权编号和帧号，同时对采集的数据分级存储，从而按照优先权编号和帧号对存储的数据解析筛选后输出；即在大数据实施过程中，通过多个通道采集数据，不但采集效率高，且采集数据量大；对分级存储后的数据按照优先权编号和帧号输出，使数据传输有序，不易造成网络堵塞和数据丢失，提高了数据处理效率低，资源利用率低。

技术领域

本发明涉及网络安全技术领域，更具体的涉及一种基于网络安全的大数据实施系统及方法。

背景技术

随着电子信息技术的发展，人们使用网络的频率越来越高，数据量的飞速增长预示着现在已经进入了大数据时代，不仅是数据规模越来越大，而且数据类型多和处理实时性要求高。大数据提出的同时，人们也逐渐体会到信息高速发展带来的隐患，安全问题成为网络浏览的重要问题，隐私泄露、财产被骗等等，即大数据给传统的数据安全传输管理带来了技术挑战。

现有的大数据实施过程中，往往是将数据都集中到一起后，再进行分类，造成后期工作量大，因数据量巨大，造成接收数据时网络堵塞，从而存在数据丢失的问题，使得数据处理效率低，资源利用率低。

综上所述，现有技术中的大数据实施过程，存在数据处理效率低，资源利用率低的问题。

发明内容

本发明实施例提供一种基于网络安全的大数据实施系统及方法，用以解决现有技术中存在数据处理效率低，资源利用率低的问题。

本发明实施例提供一种基于网络安全的大数据实施系统，包括：大数据实施平台；

所述大数据实施平台，包括：大数据采集模块、大数据预处理模块、大数据处理模块、网络安全监管模块和控制器；

所述大数据采集模块，用于通过带多种数据接口的数据接受器并行采集多路数据，并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号；

所述大数据预处理模块，用于按照各路数据传输协议对各路数据进行冗余处理和校验处理，将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器；其中，将前十帧数据存储至数据接受缓存器中，以及将前十帧以后的数据存储至数据接受存储器中；当数据接受缓存器中的数据不足十帧时，数据接受存储器中的数据自动向数据接受缓存器中传输；

所述大数据处理模块，用于根据优先权编号和帧号将待传输数据从数据接受缓存器中取出，并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出；其中，根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据；将解析后的数据信息与预存的拦截信息进行对比，当重合度小于第一预设值时的解析后的数据信息为有用信息；

所述网络安全监管模块，包括：网络检测单元、访客验证单元和访问流量监控单元；

所述网络检测单元，用于实时对各路数据传输通道的网络传输速率和资源占用率进行检测；

所述访客验证单元，用于通过账户、密码和二维码对网络大数据进行访问；其中，通过账户和密码进行身份验证，通过二维码对某些网络数据的访问进行付费验证；

所述访问流量监控单元，用于实时监测各路数据传输通道的网络数据访问流量，当某一通道的网络数据访问流量超出第二预设值时，向该通道增加网络流量，同时根据网络数据访问流量的大小确定热点数据类型；

所述控制器，用于协调上述各模块运行。

较佳地，所述大数据实施平台为大数据服务器。