[发明专利]一种基于大数据计算的网络保护的方法及系统

说明书

技术领域

本发明涉及计算机网络安全领域，尤其是涉及一种基于大数据计算的网络保护的方法及系统。

背景技术

随着互联网越来越深入到社会经济、生活的方面，计算机的网络安全问题显得愈发突出。目前在计算机网络安全领域，大都采取基于安全规则的网络保护方法。基于安全规则的网络保护方法通常针对每一种已有的安全威胁类型制定具体的安全规则，并使用这些安全规则的组合来防范各种网络攻击。

但这种基于安全规则的网络保护方法存在着明显的缺陷。首先，这些安全规则都是相对静态的，不能随着攻击手段的变化而自动进行调整，而是需要管理人员手动进行规则的更新和维护；其次，安全规则的制定只能依据已知的攻击方式和漏洞，而对于未知的攻击方式和还没有补丁的漏洞进行的攻击（0day攻击）则完全没有办法防御；第三，随着攻击和漏洞的类型的不断增加，安全规则的组合则越来越复杂，手动进行安全规则的维护不仅费时费力，并且极容易出错而导致安全策略失效。

发明内容

针对上述缺陷和不足，本发明的目的在于提供一种基于大数据计算的网络保护的方法及系统，可以动态的发现各种攻击方式和漏洞，即时进行防护。

所述的基于大数据计算的网络保护的方法包括如下步骤：

（1）从用户服务器实例云中采集大量服务器（各种服务程序）访问数据，这里的大量是指比如1000台以上各种服务程序服务器所收集的数据，包括包头部、应用程序头部、请求的负载部分。优选的数据有目标地址和请求的负载参数值部分。

（2）将收集到的各种服务程序访问数据规则化，移除噪音数据，规则化的内容包括以键值对的方式格式化请求的负载部分，并按照服务程序协议要求剔除不合法头部，移除噪音数据，达到提高数据异常处理效率和准确性的目的。

（3）对采集的数据做异常分析，找到其中的异常数据集合，并生成安全规则。异常数据是指访问的数据的安全特征明显和其他数据不一致，安全规则是指能匹配这种安全特征安全配置，它能被以入侵阻拦系统(IPS)或者入侵监测系统(IDS)使用的方式生成。异常分析的的结果和数据量的大小有直接的关系，随着数据量的增加异常的准确率也增加。使用大数据对异常分析的准确性有明显的提高。优选的异常分析的方法有K-近邻算法和/或局部离群因子算法。

（4）对新生成的规则找到使用的服务器实例，并推送到目标服务器。使用查表遍历或者哈希特征值的方法找到所需的服务器实例，并采用自动化集中机制进行推送。优选的可以采用基于http(s)的基于XML的远程过程调用(xmlrpc)协议来实现推送。

基于大数据计算的网络保护的系统包含四个模块：数据采集模块、数据分析模块、动态规则生成模块、规则推送模块。数据采集模块从用户服务器实例用云中采集服务器（各种服务程序）访问数据，包括服务程序应用头部和请求负载参数部分；数据加工分析模块将收集到的各种服务程序访问数据规则化，移除噪音数据；动态规则生成模块对采集的数据做异常分析，找到其中的异常数据集合，并生成安全规则；规则推送模块对新生成的规则找到使用的服务器实例，并推送到目标服务器。

本发明的优势在于自动化，智能的，动态的，生成安全防护规则，可以快速面对日益复杂的网络安全状况，减少人工干预和人工错误，减少网络安全防御成本，并且能发现人工不容易的异常(0day攻击)，提高安全防御效果。

附图说明

图1是本发明实施例的基于大数据计算的网络保护系统的结构框图。

具体实施方式

为了使本发明的技术方案更加清楚，下面将结合实施例对本发明进行进一步的描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

所述的基于大数据计算的网络保护系统，包括数据采集模块、数据分析模块、动态规则生成模块、规则推送模块。用户服务器实例云连接数据采集模块，然后依次连接数据分析模块、动态规则生成模块、规则推送模块，规则推送模块再与目标用户服务器实例连接。

数据采集模块从用户服务器实例云的各种服务程序访问数据中提取访问特征并储存，提取服务器访问的特征包括头部、目标、大小、时间戳、参数等，并将该特征采用分布式文件系统保存，以便让数据加工分析模块使用。

数据加工分析模块接收到采集模块传递的特征码数据集，采用降噪(剔除非相关性请求，不完整请求)算法整理和规则化特征数据集，该集然后被送入动态规则生成模块。