[发明专利]一种分布式日志收集的系统和方法

摘要

本发明公开了一种分布式日志收集的方法，其包括架设由若干HTTP服务器组成的接入层，预先与客户端约定HTTP协议报文，日志收集时,客户端主动向接入层发送数据报文；将接收到的数据报文分别生成第一数据文件和第二数据文件；读取所述第一数据文件和第二数据文件,汇集处理所述第一数据文件并写入到存储层，或/和将第二数据文件转发给处理层进行处理。本发明可以任意扩展以收集海量的日志，同时支持后端的实时或离线数据处理，并具有高可用性及高可靠性；本发明的优化在于实时与离线的通道分离，互不干扰，但能互相对照；在高可用及维护方面也更有优势。

主权项

一种分布式离线日志收集的系统，其特征在于包括：第一接入层，用于与客户端连接，接收HTTP协议数据上报并生成第一数据文件；存储层；用于存储数据文件；中心汇集层，用于汇集处理所述第一接入层生成的第一数据文件并写入到所述存储层。