[发明专利]一种分布式日志处理方法、装置、系统、设备及介质

权利要求书

1.一种分布式日志处理方法，其特征在于，应用于数据中心，包括：

获取日志处理任务；

将所述日志处理任务下发至对应的边缘搜索引擎，以使所述边缘搜索引擎基于采集的边缘节点的日志执行所述日志处理任务，其中，所述边缘节点的数量为至少两个，一个所述边缘节点中设置至少一个所述边缘搜索引擎；

接收所述边缘搜索引擎返回的日志处理结果。

2.根据权利要求1所述的方法，其特征在于，所述将所述日志处理任务下发至对应的边缘搜索引擎，包括：

确定所述日志处理任务匹配的任务调度模块；

通过所述任务调度模块将所述日志处理任务下发至对应的边缘搜索引擎。

3.根据权利要求2所述的方法，其特征在于，所述任务调度模块的数量为至少两个，一个所述任务调度模块对应至少一个所述边缘搜索引擎。

4.根据权利要求1所述的方法，其特征在于，接收所述边缘搜索引擎返回的日志处理结果之后，还包括：

对所述日志处理结果进行过滤、汇总和排序处理。

5.一种分布式日志处理方法，其特征在于，应用于边缘搜索引擎，包括：

接收数据中心下发的日志处理任务；

基于采集的边缘节点的日志执行所述日志处理任务，得到日志处理结果；

将所述日志处理结果返回给所述数据中心。

6.根据权利要求5所述的方法，其特征在于，接收数据中心下发的日志处理任务之前，还包括：

采集边缘节点中包括的至少两个边缘子节点的日志，其中，一个所述边缘搜索引擎关联至少一个所述边缘子节点；

对所述日志汇总之后建立索引，并基于索引分片存储。

7.根据权利要求5所述的方法，其特征在于，基于采集的边缘节点的日志执行所述日志处理任务，得到日志处理结果，包括：

基于采集的边缘节点的日志，采用多线程异步的方式执行所述日志处理任务，得到所述日志处理结果。

8.一种分布式日志处理模块，其特征在于，设置于数据中心，包括：

任务获取模块，用于获取日志处理任务；

任务下发模块，用于将所述日志处理任务下发至对应的边缘搜索引擎，以使所述边缘搜索引擎基于采集的边缘节点的日志执行所述日志处理任务，其中，所述边缘节点的数量为至少两个，一个所述边缘节点中设置至少一个所述边缘搜索引擎；

日志接收模块，用于接收所述边缘搜索引擎返回的日志处理结果。

9.一种分布式日志处理模块，其特征在于，设置于边缘搜索引擎，包括：

任务接收模块，用于接收数据中心下发的日志处理任务；

任务执行模块，用于基于采集的边缘节点的日志执行所述日志处理任务，得到日志处理结果；

任务返回模块，用于将所述日志处理结果返回给所述数据中心。

10.一种分布式日志处理系统，其特征在于，包括数据中心、至少两个边缘节点和每个所述边缘节点中设置的至少一个边缘搜索引擎，所述数据中心用于执行权利要求1-4中任一所述的方法，所述边缘搜索引擎用于执行权利要求5-7中任一所述的方法。

11.根据权利要求10所述的分布式日志处理系统，其特征在于，一个所述边缘节点包括至少两个边缘子节点，一个所述边缘搜索引擎关联至少一个所述边缘子节点。

12.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7中任一所述的分布式日志处理方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-7中任一所述的分布式日志处理方法。