[发明专利]一种日志存储系统和方法

说明书

本发明提供了一种日志存储系统和方法，包括多个应用节点和至少一个中心节点；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；所述应用节点，用于通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；所述中心节点，用于对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。能够防止云平台中的日志丢失。

技术领域

本发明涉及云存储技术领域，具体而言，涉及一种日志存储系统和方法。

背景技术

随着云计算技术和互联网技术的发展，越来越多的企业将应用部署在云平台上。在云平台上，可以按需服务和动态分配资源，也就是说，部署在云平台之上的应用，其所占用的资源是可以随着实际需求动态变化的。

当部署在云平台之上的应用在低负载情况时，根据云平台的伸缩性特点，多余的计算机资源(如服务器、存储、应用软件、服务等)就会被释放，此时，存储在计算机资源上的各种日志也会丢失，如，记录用户对应用的使用情况的应用日志、记录系统运行情况的系统日志、记录系统安全相关的信息的安全日志等日志。而日志对于追踪应用使用情况、系统运行情况、以及系统安全情况有着至关重要的作用，因此，防止日志丢失就显示至关重要。

发明内容

有鉴于此，本发明的目的在于提供一种日志存储系统和方法，用于解决现有技术中在云平台中日志容易丢失的问题。

第一方面，本发明实施例提供一种日志存储系统，该系统包括多个应用节点和至少一个中心节点；其中，每个应用节点中部署有日志收集进程以及至少一个应用，每个中心节点与至少一个应用节点通信连接；

所述应用节点，用于通过所述日志收集进程实时收集在应用运行过程中产生的日志数据，并通过所述日志收集进程将收集的日志数据发送给与该应用节点建立通信连接的中心节点；

所述中心节点，用于对接收的应用节点的日志数据进行整合，并将整合后的日志数据进行存储。

可选地，所述中心节点还用于：在对日志数据进行整合之前，对所述多个应用节点的日志数据进行数据清洗；

所述中心节点，具体用于基于日志数据中的用户操作行为记录，进行用户识别；以及针对识别的每个用户，根据对应日志数据中该用户的操作行为记录之间的时间顺序，进行会话识别，使所述日志数据以用户会话为单位进行存储。

可选地，所述中心节点，具体用于针对注册用户，通过所述注册用户的注册信息进行用户识别；针对非注册用户，通过所述非注册用户产生操作行为时使用的互联网协议IP地址信息进行用户识别。

可选地，所述中心节点具体用于针对识别的每个用户，根据以下步骤进行会话识别：

根据对应日志数据中该用户的操作行为记录对应的操作时间，将各条操作行为记录按照时间顺序排序；

在排序后的各条操作行为记录中，将符合预设条件的至少一条操作行为记录确定为一条用户会话；

其中，针对一条用户会话包括一条操作行为记录的情况，所述预设条件包括：该一条操作行为记录对应的操作时间与其相邻前一条操作行为记录以及相邻后一条操作行为记录分别对应的操作时间之间的时间差均大于设定阈值；

针对一条用户会话包括至少两条操作行为记录的情况，所述预设条件包括：所述至少两条操作行为记录中，每相邻两条操作行为记录对应的操作时间之间的时间差均不大于设定阈值，且所述至少两条操作行为记录中最早操作行为记录对应的操作时间与其相邻前一条操作行为记录对应的操作时间之间的时间差大于设定阈值，且所述至少两条操作行为记录中最晚操作行为记录对应的操作时间与其相邻后一条操作行为记录对应的操作时间之间的时间差大于设定阈值。

可选地，所述系统还包括：至少一个分片存储节点；