[发明专利]日志聚合方法及装置

说明书

本发明提出一种日志聚合方法及装置，其中方法包括：在各个时间段，采集至少一个日志的更新数据；更新数据为时间段内日志中所增加的数据；针对每个时间段对应的更新数据，对更新数据中的每条数据进行参数信息提取，生成每条数据对应的数据模型；数据模型中包括：对象名称、采集时间、标签、物品数量；对标签进行计算，得到具有预设维度的键值；对各个时间段对应的更新数据中具有相同对象名称和相同键值的数据模型进行聚合，得到与对象名称和键值对应的监控指标；监控指标中包括：各个采集时间对应的物品数量聚合指标。该方法能够实现对日志进行实时聚合，可以避免相同时间段内聚合数据出现多条的情况，提升日志聚合的准确性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种日志聚合方法及装置。

背景技术

为了监控业务的稳定性，以及实现资源的调度，可以对交易日志的更新数据进行聚合。相关技术中，根据生成各交易日志的服务器的采集时间，对交易日志进行聚合。由于不同服务器之间的时间不统一，交易日志的采集可能存在延迟，从而导致相同时间段的交易日志被分批采集，造成相同时间段的聚合数据出现多条，即造成日志聚合的准确性较低。

发明内容

本发明提出一种日志聚合方法及装置，以实现将杂乱无章的日志整合成有效的业务数据的监控指标，为业务的图形化展示提供了数据基础，为业务的稳定性的监控提供了数据基础。并且，以第三方服务器的时间为准，对日志进行实时聚合，可以避免相同时间段内聚合数据出现多条的情况，提升日志聚合的准确性，用于解决现有技术中日志聚合的准确性较低的技术问题。

本发明一方面实施例提出了一种日志聚合方法，包括：

在各个时间段，采集至少一个日志的更新数据；所述更新数据为所述时间段内所述日志中所增加的数据；

针对每个时间段对应的更新数据，对所述更新数据中的每条数据进行参数信息提取，生成每条数据对应的数据模型；所述数据模型中包括：对象名称、采集时间、标签、物品数量；其中，所述采集时间为所述时间段的起始时间点；

对所述标签进行计算，得到具有预设维度的键值；

对各个时间段对应的更新数据中具有相同对象名称和相同键值的数据模型进行聚合，得到与对象名称和键值对应的监控指标；所述监控指标中包括：各个采集时间对应的物品数量聚合指标。

进一步的，所述对各个时间段对应的更新数据中具有相同对象名称和相同键值的数据模型进行聚合，得到与对象名称和键值对应的监控指标之后，还包括：

将与对象名称和键值对应的监控指标存储到Elasticsearch集群中，以便各个用户查询。

进一步的，所述对各个时间段对应的更新数据中具有相同对象名称和相同键值的数据模型进行聚合，得到与对象名称和键值对应的监控指标，包括：

针对每个对象名称和键值，从各个时间段对应的更新数据中获取具有所述对象名称和所述键值的第一数据模型；

针对每个采集时间，从所述第一数据模型中获取具有所述采集时间的第二数据模型；

对所述第二数据模型中的物品数量进行聚合，得到与所述采集时间对应的物品数量聚合指标。

进一步的，所述数据模型为metric数据模型。

进一步的，对各个时间段对应的更新数据中具有相同对象名称和相同键值的数据模型进行聚合，得到与对象名称和键值对应的监控指标之后，还包括：

针对每个对象名称和键值，判断对应的监控指标中的物品数量聚合指标是否符合对应的异常条件；

若监控指标中的物品数量聚合指标符合对应的异常条件，则进行提示。