[发明专利]日志处理方法、装置、电子设备和计算机可读存储介质

说明书

本发明实施例公开了一种日志处理方法、装置、电子设备和计算机可读存储介质。该方法包括：创建业务处理线程以及日志处理线程；通过所述业务处理线程将应用程序运行过程中生成的日志数据写入预设类型的队列中；通过所述日志处理线程从所述队列中获取所述日志数据，并将所述日志数据输出到预设的日志文件。本发明引入了日志处理线程，采用异步处理方式，由业务处理线程获取应用程序运行过程中生成的日志数据，并通过队列发送给日志处理线程，由日志处理线程将日志数据输出到日志文件，将大开销的日志处理任务和数据处理任务有效地隔离开，降低业务处理线程的日志处理压力，改善数据处理能力，提升业务处理线程的数据处理效率。

技术领域

本发明涉及计算机技术领域，特别是涉及一种日志处理方法、装置、电子设备和计算机可读存储介质。

背景技术

随着互联网的快速发展和业务量的不断提高，基于网络的数据访问流量迅速增长，特别是对数据中心、大型企业以及门户网站等的访问流量甚至达到了10Gb/s的级别。相对于网络技术的发展，网络带宽和应用服务的增长远远高于服务器处理速度和内存访问速度的增长，而且在网络带宽增长的同时用户数量也在不断增长，这造成服务器的资源被消耗严重，使得服务器成为了网络瓶颈，也往往成为网络故障点。因此，组建服务器集群，利用负载均衡技术在服务器集群间进行业务均衡成为解决这些问题的主要方案。

目前，为了提高负载均衡性能，很多新技术被应用在负载均衡器上。例如：DPVS(Data Plane Development Kit-Virtual Server，数据平面开发套件虚拟服务器)负载均衡器是基于DPDK(Data Plane Development Kit，数据平面开发套件)的虚拟服务器(Virtual Server)，从而使用DPDK实现了高性能四层负载均衡器，可以通过避免中断、无锁化、CPU(central processing unit，中央处理器)亲和、大页内存等技术，提高数据处理性能和吞吐量，提高数据平面应用程序的工作效率。

但是，当DPVS负载均衡器出现异常时，例如：当内存资源不足或其他资源不足时，DPVS负载均衡器会因为处理异常信息对应的日志数据导致数据处理效率低下。具体而言，DPVS负载均衡器采用多核多线程轮询的方式打印日志数据。也即是说，在DPVS负载均衡器中，数据核和线程一一对应，在多个数据核之间轮询时，被轮询的数据核对应的线程通过IO(Input/Output，输入/输出)接口操作打印该被轮询的数据核生成的日志数据，但是由于IO接口操作的时间较长，而且需要等待IO接口操作完成之后才可以轮询下一个数据核，从而导致轮询过程时间过长。当应用程序运行过程中出现异常时，数据核会大量打印这种异常信息的日志数据，降低了数据处理效率。

发明内容

本发明实施例的目的在于提供一种日志处理方法、装置、电子设备和计算机可读存储介质，以解决DPVS负载均衡器出现异常时，DPVS负载均衡器会因为处理异常信息对应的日志数据导致数据处理效率低下。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种日志处理方法，包括：创建业务处理线程以及日志处理线程；通过所述业务处理线程将应用程序运行过程中生成的日志数据写入预设类型的队列中；通过所述日志处理线程从所述队列中获取所述日志数据，并将所述日志数据输出到预设的日志文件。

其中，所述创建业务处理线程以及日志处理线程，包括：在DPVS负载均衡器创建多个业务处理线程以及一个日志处理线程；其中，每个所述业务处理线程对应绑定一个业务处理数据核，所述日志处理线程对应绑定一个日志处理数据核。

其中，所述将所述日志数据输出到预设的日志文件，包括：根据所述日志数据的字段信息，确定生成所述日志数据的业务处理数据核；根据所述业务处理数据核对应的业务处理线程，将所述日志数据输出到预先为所述业务处理线程对应设置的日志文件中。