[发明专利]一种基于流式数据处理的实时系统保护方法

说明书

技术领域

本发明属于流处理与信息安全技术领域，尤其涉及一种基于流式数据处理的实时系统保护方法。

背景技术

随着互联网技术的快速发展，各种各样的网站中的访问量越来越大，而且同时网络环境日益复杂，网站系统在内部和外部都面临着严峻的考验，一些网站系统面临着网络攻击、误操作和系统崩溃的风险。甚至一些大型公司也存在着用户数据丢失的问题，例如：网站gitlab由于管理员误操作丢失了707位用户的数据，5037个项目丢失。针对这些问题，及时发现他们，并积极采取措施防范，损失才会减小。现有的实时系统保护方法，大多采用日志分析方法，日志是在事件发生后的记录，虽然实时分析了这些日志，并发出告警信息，但是系统已经遭受破坏，不能起到实时保护的作用(如何有效且高效地在系统执行请求之前甄别出这次请求是否是恶意请求成为关键问题)。例如上面例子，也是从日志中才知道了丢失了哪些数据。这些方法虽然可以帮助我们预防下次的攻击，但是已经造成的损失并不能挽回。现有基于日志的系统保护方法并不是严格意义上的实时保护。

综上所述，现有技术存在的问题是：现有的实时系统保护方法存在不能起到实时保护，数据量太大；把处理请求和甄别请求并行处理，有可能导致恶意请求执行之后，才去报警，不能有效防止恶意请求破坏系统。解决这个问题的难点就是需要设计一种系统处理请求机制，在成千上万个请求中高效地发现恶意请求，并在它执行之前处理它。

发明内容

针对现有技术存在的问题，本发明提供了一种基于流式数据处理的实时系统保护方法。

本发明是这样实现的，一种基于流式数据处理的实时系统保护方法，所述基于流式数据处理的实时系统保护方法将接受到的请求转换为请求原子，(即通过http协议获取请求中的一些关键信息，组成字符串，这个包含请求关键信息的字符串在此称为请求原子)实时传送请求原子到流式数据计算框架；流式数据计算框架根据规则库，实时分析请求原子的处理方式，分为两大类：正常和异常；根据处理方式执行对系统的操作或者保护。

进一步，所述请求原子包括：请求者IP、请求者ID、请求类型、请求内容、目的端口、请求深度、请求宽度、请求数据比例、请求时间、回调函数指针。

进一步，将请求原子传送到流式数据处理框架根据规则库进行处理；

调用回调函数返回处理结果；

对异常的请求进行相应的处理；

对异常处理结果进行实时展示；

对处理结果进行查询，如果已经存在，则跳出等待继续处理系统接受的请求。

进一步，所述将请求原子传送到流式数据处理框架根据规则库进行处理的过程包括：

实时将请求原子传送到数据队列中；

传送到流式计算框架中；

根据规则库进行实时分析处理；

根据回调函数指针返回处理结果。

进一步，所述规则库的规则包括：

单条请求原子中内容是否符合规则；

一个时间窗口内特定请求出现的频率是否符合规则；

和其他请求之间的关联关系是否符合规则。

进一步，所述对处理结果进行展示包括：处理结果正常为true，异常为false，直接写入系统处理请求的线程中的局部变量中。

进一步，所述对异常请求进行相应的处理是实时流式数据计算框架触发规则库规则，根据触发的规则实时启动一个异常处理线程实现对系统的保护。

进一步，所述对异常处理结果进行实时展示，是指将请求原子、所符合规则与处理结果实时写入数据库中，经过处理实时显示在页面中。

本发明的另一目的在于提供一种应用所述基于流式数据处理的实时系统保护方法的网站系统。

本发明的另一目的在于提供一种应用所述基于流式数据处理的实时系统保护方法的计算机。

与现有技术相比，本发明具有以下突出的有效果：

(1)通过在请求执行之前检测此次请求，关于破坏处理概率；本发明是和规则库的恶意请求甄别率直接相关，而现有技术则是规则库的恶意请求甄别率减去破坏已经发生的概率，提高了破坏被处理的概率，使得系统更为安全。

(2)通过处理请求原子，与现有技术处理日志信息相比，减少了数据量，降低了数据复杂性，减轻了流式处理框架的压力。经过测试，使用相同计算框架时，比现有技术处理日志信息相比，处理每100条请求，提高了30％的效率。使得系统实时处理效率相应的提高了30％。

(3)随着计算机计算能力的提高；本发明中接受到请求到处理请求所需时间也会越来越少，系统的实时性也会随之提高。