[发明专利]日志数据的存储方法、装置、终端及计算机存储介质

说明书

本发明适用于计算机应用技术领域，提供了一种日志数据的存储方法、装置、终端及计算机存储介质，该方法包括：获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；将所述包含多个字段的日志记录存储到数据库MongoDB；提高了日志数据的写入效率，有效地避免了日志数据量大且并发性高导致业务运行受到影响的问题；同时，还提高了日志的查询效率和分析效率。

技术领域

本发明属于计算机技术领域，尤其涉及一种日志数据的存储方法、装置、终端及计算机存储介质。

背景技术

日志数据记录的是程序行为数据，可以用于分析各应用的运行状态，并且对系统的稳定运行也起着至关重要的作用。

目前，通常将日志数据存储在本地文件或数据库中，在日志数据量大且并发性高的情况下，对日志数据进行实时存储有可能会影响业务的正常运行，并且，这种日志的存储方式也不利于对日志进行分析。

发明内容

有鉴于此，本发明实施例提供了一种日志数据的存储方法、装置、终端及计算机存储介质，能够解决日志数据量巨大、并发性高的情况下，对日志数据进行实时存储导致业务运行受到影响的技术问题。

本发明实施例的第一方面提供了一种日志数据的存储方法，包括：

获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；

读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；

将所述包含多个字段的日志记录存储到数据库MongoDB。

本发明实施例的第二方面提供了日志数据的存储装置，包括：

第一存储单元，用于获取应用运行时产生的日志数据，并将所述日志数据采用异步处理的方式存储到消息系统RocketMQ的消息队列；

转换单元，用于读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录；

第二存储单元，用于将所述包含多个字段的日志记录存储到数据库MongoDB。

本发明实施例的第三方面提供了一种终端，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。

本发明实施例的第四方面提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述所述方法的步骤。

本发明实施例中，采用异步处理的方式将应用运行时产生的日志数据存储到消息系统RocketMQ的消息队列中，提高了日志数据的写入效率，并且，由于RocketMQ的高吞吐量和可扩展性，有效地避免了日志数据量大且并发性高导致业务运行受到影响的问题；同时，本发明还通过微服务读取所述消息队列中的日志数据，并对所述日志数据进行转换，得到包含多个字段的日志记录之后，再将所述日志记录存储到数据库MongoDB中，提高了日志的查询效率和分析效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种日志数据的存储方法的实现流程示意图；

图2是本发明实施例提供的一种日志数据的存储方法步骤101的具体实现流程示意图；