[发明专利]一种用于对海量DNS日志进行多维统计分析的方法及系统

摘要

本发明公开了一种用于对海量DNS日志进行多维统计分析的方法及系统。所述系统包括依次连接的多个DNS数据采集模块、DNS数据汇总中心、云服务器、DNS日志处理中心、DNS日志统计分析中心及数据库。所述DNS数据汇总中心用于接收及汇总由所述多个DNS数据采集模块采集的DNS日志数据，并将汇总形成的海量DNS日志数据定期上传到所述云服务器。所述DNS日志处理中心用于接收由所述云服务器提交的DNS日志数据处理任务，从所述云服务器下载海量DNS日志数据，对该海量DNS日志数据进行分布式处理。所述DNS日志统计分析中心用于基于给定的多个维度对经处理的DNS日志数据进行统计及分析，生成多维度的DNS日志数据统计及分析结果，并将所得DNS日志数据统计及分析结果存入所述数据库。

主权项

1.一种用于对海量DNS日志进行多维统计分析的方法，其特征在于，包括如下步骤：S0、多个DNS数据采集模块通过分光镜像的方式对记录及存储到多台DNS服务器的DNS日志数据进行实时采集，并将采集的DNS日志数据输入DNS数据汇总中心；DNS数据汇总中心对由该多个DNS数据采集模块输入的DNS日志数据进行汇总，并将汇总形成的海量DNS日志数据定期上传到云服务器；S1、在海量DNS日志数据成功上传到云服务器时接收由云服务器提交的DNS日志数据处理任务，从云服务器下载海量DNS日志数据，并对下载的海量DNS日志数据作分布式处理；所述步骤S1中所述从云服务器下载海量DNS日志数据，并对下载的海量DNS日志数据作分布式处理的步骤包括：S11、将海量DNS日志数据处理任务拆分为由M个子任务构成的第一任务队列(subjob1，subjob2……subjobM)，并将该第一任务队列(subjob1，subjob2……subjobM)中的M个子任务随机分配到该M个分布式文件系统；S12、指令该M个分布式文件系统根据分配到的子任务分别从云服务器下载该海量DNS日志数据中的其中一部分DNS日志数据，并对该部分DNS日志数据进行分布式处理；S2、汇总经处理的DNS日志数据，并基于给定的多个维度对汇总的DNS日志数据进行统计及分析，生成多维度的DNS日志数据统计及分析结果，并将该多维度的DNS日志数据统计及分析结果存入数据库。