[发明专利]一种通过高速内存、分布式处理海量日志的系统及方法

摘要

一种通过高速内存、分布式处理海量日志的系统和方法，该系统由多个日志产生设备和一个日志管理服务器所组成：日志产生设备散置于各个网元中，用于将各种原始日志进行格式归一化后，再缓存于高速内存组件，并周期地上传至日志管理服务器；日志产生设备设有三个部件：原始日志产生模块、日志预处理模块和高速内存组件。日志管理服务器负责将分布于各日志产生设备的高速内存组件中超过缓存期限的日志统一导出、归档存储，以供其他系统查询与分析日志。本发明能够高效、低成本、实时处理多种类型日志，可扩展性和可实施性均较好。与采用关系型数据库存储日志相比较，降低处理成本，还解决了大数据量的数据库瓶颈问题，提高了查询与分析日志的效率。

主权项

一种通过高速内存、分布式处理海量日志的系统，其特征在于：所述系统是由多个日志产生设备和一个日志管理服务器所组成，其中：日志产生设备，分散地配置在各个网元中，用于将各种原始日志进行格式归一化处理后，再缓存于高速内存组件，并周期地将其产生的关联索引文件上传至日志管理服务器；该日志产生设备设有下述三个部件：原始日志产生模块：用于为电信网络产生各种业务应用的原始日志；日志预处理模块：负责读取配置文件，根据配置文件中的日志类型，从原始日志产生模块读取相应的原始日志，然后创建相应子进程，分别对不同类型的日志以“key,value”的形式进行格式归一化，同时将key写入关联索引文件并周期地以文件传输协议FTP的方式上传至日志管理服务器；高速内存组件：用于缓存格式归一化预处理后的日志。日志管理服务器，负责将分布于各个日志产生设备的高速内存组件中超过缓存期限的日志统一导出、归档存储，以供其他系统对日志进行查询、分析。