[发明专利]一种日志解析方法、系统、电子设备及存储介质

权利要求书

1.一种日志解析方法，其特征在于，应用于分布式计算平台，包括：

根据Raft协议确定所述分布式计算平台中每一计算节点的节点角色；

根据所述计算节点的节点角色对日志解析规则进行一致性同步，以使所有所述计算节点对应的日志解析规则相同；

若接收到日志数据，则将所述日志数据分发至所述计算节点；其中，所述计算节点中存储有预编译的日志解析规则；

控制所述计算节点利用所述日志解析规则对所述日志数据执行日志解析操作；

其中，所述节点角色包括领导节点、从属节点和候选节点；

相应的，根据所述计算节点的节点角色对日志解析规则进行一致性同步，包括：

将所述领导节点的LRU队列中存储的规则标识增量同步至所述从属节点的LRU队列；所述日志解析规则存储于规则库中，所述规则库中每一日志解析规则均有唯一对应的规则标识，所述计算节点利用所述规则标识从所述规则库中读取日志解析规则；

其中，将所述日志数据分发至所述计算节点，包括：

按照日志种类划分规则对所述日志数据进行划分，得到多个种类的子数据；

确定所述计算节点与日志种类的对应关系，并根据所述计算节点与所述日志种类的对应关系将所述子数据分发至对应的计算节点；

在控制所述计算节点利用所述日志解析规则对所述日志数据执行日志解析操作之前，还包括：

确定每一所述计算节点对应的日志种类，根据日志种类与日志解析规则的对应关系在所述计算节点中预编译对应的日志解析规则，并将预编译结果存储至所述计算节点。

2.根据权利要求1所述日志解析方法，其特征在于，将所述日志数据分发至所述计算节点之后，还包括：

判断所述计算节点的业务压力是否大于预设压力；

若是，则所述计算节点接收到的日志数据分配给所述计算节点的关联节点；其中，所述关联节点与所述计算节点对应的日志种类相同。

3.根据权利要求1所述日志解析方法，其特征在于，根据所述计算节点的节点角色对日志解析规则进行一致性同步，包括：

根据所述计算节点的节点角色通过mmap内存映射的方式对所述日志解析规则进行一致性同步。

4.根据权利要求1至3任一项所述日志解析方法，其特征在于，所述计算节点之间通过gRPC协议和Protobuf协议进行通讯；

其中，所述计算节点通过AppendEntries RPC传输心跳信号和日志数据，所述计算节点通过RequestVote RPC选举领导节点。

5.一种日志解析系统，其特征在于，包括：

节点角色确定模块，用于根据Raft协议确定分布式计算平台中每一计算节点的节点角色；

规则同步模块，用于根据所述计算节点的节点角色对日志解析规则进行一致性同步，以使所有所述计算节点对应的日志解析规则相同；所述节点角色包括领导节点、从属节点和候选节点；

日志分发模块，用于若接收到日志数据，则将所述日志数据分发至所述计算节点；其中，所述计算节点中存储有预编译的日志解析规则；

日志解析模块，用于控制所述计算节点利用所述日志解析规则对所述日志数据执行日志解析操作；

相应的，所述规则同步模块，用于将所述领导节点的LRU队列中存储的规则标识增量同步至所述从属节点的LRU队列；所述日志解析规则存储于规则库中，所述规则库中每一日志解析规则均有唯一对应的规则标识，所述计算节点利用所述规则标识从所述规则库中读取日志解析规则；

所述日志分发模块，用于按照日志种类划分规则对所述日志数据进行划分，得到多个种类的子数据；还用于确定所述计算节点与日志种类的对应关系，并根据所述计算节点与所述日志种类的对应关系将所述子数据分发至对应的计算节点；

预编译模块，用于在控制所述计算节点利用所述日志解析规则对所述日志数据执行日志解析操作之前，确定每一所述计算节点对应的日志种类，根据日志种类与日志解析规则的对应关系在所述计算节点中预编译对应的日志解析规则，并将预编译结果存储至所述计算节点。