[发明专利]日志数据处理方法及装置

说明书

本发明提供一种日志数据处理方法及装置。日志数据处理方法包括：部署于日志宿主机上的客户端代理装置接收计算节点发送的查询请求，根据查询请求中的日志文件标识和时间段标识，获取时间段标识所标识的时间段内产生的日志数据的位置索引；根据获取的位置索引，从日志宿主机上的日志文件中获取时间段内产生的日志数据；将所获取的日志数据传输给计算节点，以供计算节点进行处理。本发明技术方案可以提高处理日志数据的实时性。

【技术领域】

本发明涉及互联网技术领域，尤其涉及一种日志数据处理方法及装置。

【背景技术】

海量日志数据的处理本质上属于大数据计算，业界有着众多成熟的解决方案，其中，最典型的是以Hadoop为代表的后计算流。

Hadoop计算流的过程为：在产生日志的宿主机上部署客户端(agent)；客户端按照一定的频率，将宿主机源源不断产生的日志跨网络传输到HDFS存储节点进行持久化存储；随后，HDFS计算节点的任务调度会驱动各种作业，从HDFS存储节点上捞取相关的日志，执行相应作业并输出结果。

由上述可见，Hadoop计算流需要先等待日志存储到HDFS存储节点，再经过任务调度从HDFS存储节点中捞取日志执行相应作业，其实时性较差。

【发明内容】

本发明的多个方面提供一种日志数据处理方法及装置，用以提高处理日志数据的实时性。

本发明的一方面，提供一种日志数据处理方法，包括：

部署于日志宿主机上的客户端代理装置接收计算节点发送的查询请求，所述查询请求包括：日志文件标识和时间段标识；

所述客户端代理装置根据所述日志文件标识和所述时间段标识，获取所述时间段标识所标识的时间段内产生的日志数据的位置索引，所述位置索引用于指示所述时间段内产生的日志数据在所述日志文件标识所标识的日志文件中的位置；

所述客户端代理装置根据所述时间段内产生的日志数据的位置索引，从所述日志宿主机上的所述日志文件中获取所述时间段内产生的日志数据；

所述客户端代理装置将所述时间段内产生的日志数据传输给所述计算节点，以供所述计算节点进行处理。

本发明的另一方面，提供一种客户端代理装置，部署于日志宿主机上，所述客户端代理装置包括：

请求接收模块，用于接收计算节点发送的查询请求，所述查询请求包括：日志文件标识和时间段标识；

索引获取模块，用于根据所述日志文件标识和所述时间段标识，获取所述时间段标识所标识的时间段内产生的日志数据的位置索引，所述位置索引用于指示所述时间段内产生的日志数据在所述日志文件标识所标识的日志文件中的位置；

数据获取模块，用于根据所述时间段内产生的日志数据的位置索引，从所述日志文件中获取所述时间段内产生的日志数据；

发送模块，用于将所述时间段内产生的日志数据传输给所述计算节点，以供所述计算节点进行处理。

由上述技术方案可知，本发明在日志宿主机部署客户端代理装置，客户端代理装置根据计算节点的查询请求，确定需要查询的日志数据的位置索引，根据位置索引直接从日志宿主机上的日志文件中获取日志数据，再将所获取的日志数据传输给计算节点以进行计算处理，相当于在日志宿主机上直接实现了日志查询功能，使得日志数据的处理不再需要经过HDFS存储节点，节约了将日志数据传输到HDFS存储节点的时间，有利于提高处理日志数据的实时性。

【附图说明】

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。