[发明专利]一种WAF安全防护日志实现高效传输、存储的方法及装置

权利要求书

1.一种WAF安全防护日志实现高效传输、存储的方法，其特征在于，该方法包括：

S01、通过构建SDK客户端,并构建发送waf日志数据的自定义协议,协议包含魔数、协议版本号、序列化算法、压缩算法、数据长度等字段；

S02、启动ClickHouse集群；

S03、配置客户端SDK发送程序中的worker相关地址，并配置和服务端相同的压缩算法和日志传输序列化算法，启动客户端SDK中生成的WAF日志发送Netty客户端通道；

S04、当客户端接收到生成的WAF日志后，通过集成的sdk客户端程序向日志接收服务端发送WAF日志；

S05、服务端worker收到客户端发送的WAF日志后，将日志写入到Clickhouse集群中；

S06、服务端worker和客户端SDK通过Netty通道保持长连接，并定期上报Heatbeat。

2.根据权利要求1所述的WAF安全防护日志实现高效传输、存储的方法，其特征在于，所述S02包括：

S021、创建日志数据存储所需要的clickhouse数据库和相应的日志表结构，并通过配置文件指定存储分片规则和副本策率；

S022、通过配置文件配置服务端worker集群，配置接收日志服务端worker的端口，设置配置Clickhouse的连接配置，并配置相应日志的压缩算法和日志传输序列化算法，启动接收客户端发送日志服务的Netty通道服务。

3.根据权利要求2所述的WAF安全防护日志实现高效传输、存储的方法，其特征在于，所述S022中配置文件配置服务端worker集群的指定IP和端口。

4.根据权利要求2所述的WAF安全防护日志实现高效传输、存储的方法，其特征在于，所述S022中日志的压缩算法和日志传输序列化算法包括但不限于：snappy、zstd压缩算法。

5.根据权利要求1所述的WAF安全防护日志实现高效传输、存储的方法，其特征在于，所述S04中首次向日志接收服务端发送WAF日志时：根据worker数量hash后，用UDP协议发送到对应的服务端worker管道上，日志使用对应的压缩和序列化算法发送到对应的worker通道中。

6.根据权利要求1所述的WAF安全防护日志实现高效传输、存储的方法，其特征在于，所述S05包括：

S051、通过客户端对应的压缩和序列化算法进行解压和反序列化后，将数据批量缓存到worker端的内存队列中；

S052、当队列规模达到阈值或列队时间达到阈值，将批量日志一次性的写入到Clickhouse集群中，队列规模阈值和列队时间阈值，通过日志收集服务端需要的服务器配置文件进行指定。

7.根据权利要求1所述的WAF安全防护日志实现高效传输、存储的方法，其特征在于，所述S06中的Heatbeat中包含：worker端的内存和CPU的负载信息，客户端再次发送日志后，根据worker端的负载进行筛选服务压力最小的worker进行日志发送，达到日志发送自适应选择worker的能力。