[发明专利]一种WAF安全防护日志实现高效传输、存储的方法及装置

说明书

本发明公开一种WAF安全防护日志实现高效传输、存储的方法及装置，其中，该方法包括：通过配置文件指定log框架构建适配的日志输出匹配框架；启动ClickHouse集群；配置客户端SDK发送程序中的worker相关地址，并配置和服务端相同的压缩算法和日志传输序列化算法，启动客户端SDK中生成的WAF日志发送Netty客户端通道；当客户端接收到生成的WAF日志后，通过集成的sdk客户端程序向日志接收服务端发送WAF日志；服务端worker收到客户端发送的WAF日志后，将日志写入到Clickhouse集群中；服务端worker和客户端SDK通过Netty通道保持长连接，并定期上报Heatbeat。该方法及装置通过构造两层架构模式,使用UDP协议传输日志数据，处理WAF日志吞吐量提升明显，全链路磁盘占用空间大幅降低，节约硬件资源。

技术领域

本发明涉及数据源领域，尤其是一种WAF安全防护日志实现高效传输、存储的方法及装置。

背景技术

现有的手机日志处理^收集系统,大部分是通过ELK系列方案(filebeat、mq传输、es存储等常见方案),WAF日志是常见的Web防火墙日志,随着接入防护客户的增加,日志也会呈现爆发性增长，按照每秒产生10M日志，一小时就是35G左右的日志，一天的日志量就是840G左右,当存储在ES中还是多副本机制，日志量就会翻倍存储，ES存储数据就会存在性能瓶颈，同时ES写入就会出现延迟，线上的存储基本上都会存在不同的延迟状况，同时日志如果经过MQ集群通道，MQ也是写磁盘的，这840G一点不少的在MQ机器上做了保存，并且MQ还有备份机制，MQ集群的存储压力也会有很大的压力，整个线上日志处理流程在巨大的流量面前，也难以持续下去，高昂的硬件成本将迫使我们去寻找更合适的技术方案。

ELK即Elasticsearch、Logstash和Kibana三个开源软件的缩写，这三款软件都是开源软件，通常配合使用，用来做日志收集用。

发明内容

为解决现有技术存在的问题，本发明提供一种WAF安全防护日志实现高效传输、存储的方法及装置，通过构建日志发送客户端SDK，日志在发送端采用边缘聚合日志，采用主流的snappy、zstd等压缩工具类,可以直接将字符串压缩成byte[]再往外传输，这个被压缩后的字符串，直至入库都是byte[]，全程不对大报文解压,实现文件最大限度压缩和高性能序列化，客户端传输方式使用Netty UDP协议高效传输，服务端收到批量的日志数据后批量写入Clickhouse数据库，实现日志吞吐量大幅度提升，且全链路磁盘占用下降明显，节约了用户的硬盘资源。

为实现上述目的，本发明采用下述技术方案：

在本发明一实施例中，提出了一种WAF安全防护日志实现高效传输、存储的方法，该方法包括：

S01、通过构建SDK客户端,并构建发送waf日志数据的自定义协议,协议包含魔数、协议版本号、序列化算法、压缩算法、数据长度等字段；

如使用Logback框架就选择相应Logback框架的sdk客户端；

S02、启动ClickHouse集群；

S03、配置客户端SDK发送程序中的worker相关地址，并配置和服务端相同的压缩算法和日志传输序列化算法，启动客户端SDK中生成的WAF日志发送Netty客户端通道；

客户端SDK发送程序即为客户端收集日志程序

S04、当客户端接收到生成的WAF日志后，通过集成的sdk客户端程序向日志接收服务端发送WAF日志；

S05、服务端worker收到客户端发送的WAF日志后，将日志写入到Clickhouse集群中；

S06、服务端worker和客户端SDK通过Netty通道保持长连接，并定期上报Heatbeat。