[发明专利]一种日志数据记录的方法、日志服务器及系统

说明书

本申请实施例公开了一种日志数据记录的方法、日志服务器及系统，该日志数据记录方法包括：将根据日志获取条件获取到的日志数据组成日志集合；确定用于存储所述日志集合的数据存储服务器；将所述日志集合存储到所述数据存储服务器，并在所述数据存储服务器上生成所述日志集合的数据表；在所述日志集合的所有日志数据全部导入所述数据表之后，为所述日志集合的数据表创建索引。采用本申请实施例的方法、日志服务器或系统，可以提高日志数据的储存速度，从而使得网络平台能够及时地记录短时间内产生的大量日志数据，防止数据丢失并且缩短用户查询的延迟时间。

技术领域

本申请涉及网络数据处理领域，特别是涉及一种日志数据记录的方法、日志服务器及系统。

背景技术

随着互联网通讯越来越普及，与网络平台之间通过网络交互的用户数量越来越多，用户与平台之间交互的次数也越来越多。为了便于用户能够查询到已完成的交互的有关信息，通常采用的方式是网络平台将交互信息生成用户的日志数据，然后记录各个用户的各个交互产生的日志数据，这样，在用户需要查询已完成的交互信息时，可以直接在网络平台所记录的日志数据总查找该交互所对应的日志数据，然后再将查找到的日志数据返回给用户，这样查询者就可以获得所需的交互信息。

在现有的日志数据记录方法中，每当产生一条用户日志数据，日志服务系统就将该条日志数据插入存储到系统中的某一台存储设备上，这样，为了在用户查询时日志服务系统能在日志存储设备中找到日志数据的存储位置，在将每条日志数据插入的同时都要对日志存储设备中的索引进行一次更新。

通过现有技术来记录日志数据，由于每插入一条日志都需要对日志存储设备的索引进行一次更新，所以日志数据记录的速度较慢，导致日志数据记录的效率较低。而进一步的，当前由于网络平台业务量的增大，网络平台上产生的日志数据数量越来越多，通过现有技术来记录日志数据，难以及时地记录产生的大量日志数据，这样，不仅会造成日志数据的丢失，也会致使用户在交互完成之后的较长时间内查询不到交互信息，也即用户查询的延迟时间较长。

发明内容

本申请所要解决的技术问题是，提供一种日志数据记录的方法、装置及系统，以解决按照现有技术中日志数据记录的方式导致的日志数据记录的效率较低的技术问题，进一步的，还能解决短时间内产生日志数据达到亿级别数量的网络平台难以及时地记录产生的大量日志数据而造成的日志数据丢失和用户查询的延迟时间较长的技术问题。

为解决上述技术问题，本申请实施例提供了一种日志数据记录的方法，该方法包括：

将根据日志获取条件获取到的日志数据组成日志集合；

确定用于存储所述日志集合的数据存储服务器；

在所述数据存储服务器上生成所述日志集合的数据表，并将所述日志集合中的所有日志数据导入所述数据表；

在所述日志集合的所有日志数据全部导入所述数据表之后，为所述日志集合的数据表创建索引。

优选的，所述将根据日志获取条件获取到的日志数据组成日志集合，包括：

从分布式文件系统中，获取前一次组成日志集合时刻之后生成的日志数据；

判断所述日志数据的条数是否达到预设的获取数据数量阈值；

如果否，则等待第一等待时间之后返回所述判断所述获取前一次组成日志集合时刻之后生成的日志数据的步骤；

如果是，则将所述日志数据组成日志集合；所述日志集合对应的时间段为前一次组成日志集合的时刻至本次组成日志集合的时刻。

优选的，所述将根据日志获取条件获取到的日志数据组成日志集合，包括：

判断获取等待时间是否达到预设的等待时间阈值，所述获取等待时间为当前时刻与前一次组成日志集合的时刻之间的时间；