[发明专利]日志数据处理方法及装置

权利要求书

1.一种日志数据处理方法，其特征在于，包括：

部署于日志宿主机上的客户端代理装置接收计算节点发送的查询请求，所述查询请求包括：日志文件标识和时间段标识；

所述客户端代理装置根据所述日志文件标识和所述时间段标识，获取所述时间段标识所标识的时间段内产生的日志数据的位置索引，所述位置索引用于指示所述时间段内产生的日志数据在所述日志文件标识所标识的日志文件中的位置；

所述客户端代理装置根据所述时间段内产生的日志数据的位置索引，从所述日志宿主机上的所述日志文件中获取所述时间段内产生的日志数据；

所述客户端代理装置将所述时间段内产生的日志数据传输给所述计算节点，以供所述计算节点进行处理。

2.根据权利要求1所述的方法，其特征在于，所述时间段标识所标识的时间段包括至少一个单位周期；

所述客户端代理装置根据所述日志文件标识和所述时间段标识，获取所述时间段标识所标识的时间段内产生的日志数据的位置索引，包括：

所述客户端代理装置根据所述日志文件标识，确定所述日志文件对应的位置索引文件，所述位置索引文件对应存储有单位周期和单位周期内产生的日志数据的位置索引；

所述客户端代理装置根据所述时间段标识，在所述位置索引文件中进行匹配；

如果在所述位置索引文件中匹配到所述时间段包括的单位周期，所述客户端代理装置获取所述位置索引文件中匹配到的单位周期内产生的日志数据的位置索引；

如果未在所述位置索引文件中匹配到所述时间段包括的单位周期，所述客户端代理装置根据所述日志文件标识，对所述日志文件中的日志数据进行解析，确定所述时间段包括的每个单位周期内产生的日志数据的位置索引。

3.根据权利要求2所述的方法，其特征在于，所述客户端代理装置根据所述日志文件标识，对所述日志文件中的日志数据进行解析，确定所述时间段包括的每个单位周期内产生的日志数据的位置索引，包括：

所述客户端代理装置根据所述日志文件标识，确定所述日志文件；

所述客户端代理装置采用二分法，对所述日志文件中的日志数据进行解析，获得所述时间段包括的每个单位周期内产生的日志数据的位置索引；

所述方法还包括：

所述客户端代理装置将所述时间段包括的每个单位周期和所述时间段包括的每个单位周期内产生的日志数据的位置索引对应添加到所述位置索引文件中。

4.根据权利要求2所述的方法，其特征在于，所述客户端代理装置根据所述日志文件标识，确定所述日志文件对应的位置索引文件之前，还包括：

所述客户端代理装置接收所述计算节点发送的启动指示，所述启动指示用于指示自第一时间开始为每个单位周期内产生的日志数据创建位置索引；

所述客户端代理装置自所述第一时间开始为每个单位周期内产生的日志数据创建位置索引，并将自所述第一时间开始的每个单位周期和为每个单位周期内产生的日志数据所创建的位置索引对应存储到所述位置索引文件中。

5.根据权利要求4所述的方法，其特征在于，所述客户端代理装置自所述第一时间开始为每个单位周期内产生的日志数据创建位置索引，包括：

对于所述第一时间之后的每个单位周期，所述客户端代理装置对所述单位周期的上一个单位周期的尾部数据进行解析，确定所述单位周期内产生的日志数据的起始位置，并对所述单位周期的尾部数据进行解析，确定所述单位周期内产生的日志数据的长度，作为所述单位周期内产生的日志数据的位置索引；其中，所述单位周期的尾部数据是指在所述单位周期即将结束时产生的日志数据。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述客户端代理装置将所述时间段内产生的日志数据传输给所述计算节点，包括：

所述客户端代理装置采用零拷贝技术，将所述时间段内产生的日志数据传输给所述计算节点。