[发明专利]一种基于网络安全的大数据实施系统及方法

摘要

本发明公开了一种基于网络安全的大数据实施系统及方法。该系统的大数据实施平台包括：大数据采集模块、大数据预处理模块、大数据处理模块、网络安全监管模块和控制器；网络安全监管模块包括：网络检测单元、访客验证单元和访问流量监控单元。本发明通过带多种数据接口的数据接受器并行采集多路数据，并对帧打包数据添加优先权编号和帧号，同时对采集的数据分级存储，从而按照优先权编号和帧号对存储的数据解析筛选后输出；即在大数据实施过程中，通过多个通道采集数据，不但采集效率高，且采集数据量大；对分级存储后的数据按照优先权编号和帧号输出，使数据传输有序，不易造成网络堵塞和数据丢失，提高了数据处理效率低，资源利用率低。

主权项

一种基于网络安全的大数据实施系统，其特征在于，包括：大数据实施平台(1)；所述大数据实施平台(1)，包括：大数据采集模块(11)、大数据预处理模块(12)、大数据处理模块(13)、网络安全监管模块(14)和控制器(15)；所述大数据采集模块(11)，用于通过带多种数据接口的数据接受器并行采集多路数据，并对各路数据进行帧数据打包且对各路数据每帧的帧头添加优先权编号和帧号；所述大数据预处理模块(12)，用于按照各路数据传输协议对各路数据进行冗余处理和校验处理，将冗余处理和校验处理后的数据存储至各路数据接受缓存器和数据接受存储器；其中，将前十帧数据存储至数据接受缓存器中，以及将前十帧以后的数据存储至数据接受存储器中；当数据接受缓存器中的数据不足十帧时，数据接受存储器中的数据自动向数据接受缓存器中传输；所述大数据处理模块(13)，用于根据优先权编号和帧号将待传输数据从数据接受缓存器中取出，并解析数据信息将筛选出的有用数据按照优先权编号和帧号输出；其中，根据上一帧待传输数据取出完成标志从数据接受缓存器中取出下一帧待传输数据；将解析后的数据信息与预存的拦截信息进行对比，当重合度小于预设值时的解析后的数据信息为有用信息；所述网络安全监管模块(14)，包括：网络检测单元(141)、访客验证单元(142)和访问流量监控单元(143)；所述网络检测单元(141)，用于实时对各路数据传输通道的网络传输速率和资源占用率进行检测；所述访客验证单元(142)，用于通过账户、密码和二维码对网络大数据进行访问；其中，通过账户和密码进行身份验证，通过二维码对某些网络数据的访问进行付费验证；所述访问流量监控单元(143)，用于实时监测各路数据传输通道的网络数据访问流量，当某一通道的网络数据访问流量超出预设值时，向该通道增加网络流量速度，同时根据网络数据访问流量的大小确定热点数据类型；所述控制器(15)，用于协调上述各模块运行。