[发明专利]一种数据处理方法及第一处理单元

权利要求书

1.一种数据处理方法，其特征在于，应用于第一处理单元，包括：

所述第一处理单元在目标容器节点中，通过多线程采集方式，分别从多个日志文件中采集日志更新数据，所述目标容器节点为容器集群中的设置有所述第一处理单元的一个容器节点；

所述第一处理单元将采集到的所述日志更新数据发送至第二处理单元，以使得所述第二处理单元对所述日志更新数据进行数据处理及存储；其中，所述第一处理单元与所述第二处理单元不同。

2.根据权利要求1所述的数据处理方法，其特征在于，所述第一处理单元从目标日志文件中采集日志更新数据，包括：

所述第一处理单元基于所述目标日志文件的文件结束符，和已保存的对所述目标日志文件的当前消费位移，确定所述目标日志文件是否存在目标更新数据，如果是，则创建与所述目标日志文件对应的一个抓取器；

所述第一处理单元调用所述抓取器，在所述目标日志文件中采集所述目标更新数据；

所述第一处理单元将采集到的所述目标更新数据存储至数据聚合单元中。

3.根据权利要求2所述的数据处理方法，其特征在于，在所述第一处理单元调用所述抓取器，在所述目标日志文件中采集所述目标更新数据之后，所述方法还包括：

如果所述目标日志文件在第一预定义时长内未出现新的更新数据，则所述第一处理单元关闭所述抓取器。

4.根据权利要求2所述的数据处理方法，其特征在于，在所述第一处理单元调用所述抓取器，在所述目标日志文件中采集所述目标更新数据之后，所述方法还包括：

如果所述目标日志文件的删除时长不小于第二预定义时长，则所述第一处理单元关闭所述抓取器。

5.根据权利要求2所述的数据处理方法，其特征在于，在所述第一处理单元调用所述抓取器，在所述目标日志文件中采集所述目标更新数据之后，所述方法还包括：

如果所述目标日志文件出现重命名，则所述第一处理单元关闭所述抓取器。

6.根据权利要求1所述的数据处理方法，其特征在于，所述第二处理单元对所述日志更新数据进行数据处理及存储，包括：

所述第二处理单元按照预定义的数据处理方式，在所述日志更新数据中添加目标字段，获得处理后数据；

所述第二处理单元确定与所述日志更新数据相匹配的索引标识；

所述第二处理单元将所述处理后数据存储至所述索引标识对应的索引中。

7.第一处理单元，其特征在于，包括：第一采集单元和第一发送单元，其中：

所述第一采集单元，用于在目标容器节点中，通过多线程采集方式，分别从多个日志文件中采集日志更新数据，所述目标容器节点为容器集群中的设置有所述第一处理单元的一个容器节点；

所述第一发送单元，用于将采集到的所述日志更新数据发送至第二处理单元，以使得所述第二处理单元对所述日志更新数据进行数据处理及存储；其中，所述第一处理单元与所述第二处理单元不同。

8.根据权利要求7所述的第一处理单元，其特征在于，所述第一采集单元从目标日志文件中采集日志更新数据，设置为：

所述第一采集单元基于所述目标日志文件的文件结束符，和已保存的对所述目标日志文件的当前消费位移，确定所述目标日志文件是否存在目标更新数据，如果是，则创建与所述目标日志文件对应的一个抓取器，调用所述抓取器，在所述目标日志文件中采集所述目标更新数据，将采集到的所述目标更新数据存储至数据聚合单元中。

9.根据权利要求8所述的第一处理单元，其特征在于，在所述调用所述抓取器，在所述目标日志文件中采集所述目标更新数据之后，所述第一采集单元还用于：

如果所述目标日志文件在第一预定义时长内未出现新的更新数据，则所述第一处理单元关闭所述抓取器。

10.根据权利要求8所述的第一处理单元，其特征在于，在所述第一处理单元调用所述抓取器，在所述目标日志文件中采集所述目标更新数据之后，所述第一采集单元还用于：

如果所述目标日志文件的删除时长不小于第二预定义时长，则所述第一处理单元关闭所述抓取器。