[发明专利]基于ICP活跃度的接入网单个IP平均流量统计方法及系统

摘要

本发明公开提出了一种基于ICP活跃度的接入网单个IP平均流量统计方法及系统。本发明基于ICP访问日志文件，对日志中的异常IP访问流量记录进行识别，发明了一种异常访问流量去重的方法，在日志中去除异常点击，对日志中的连续点击，单IP多用户以及单用户多IP等可能的异常点击进行识别去重，对去重后的流量提取源和目标IP以及产生的流量，来统计出每天网内活跃的IP以及其流量，再根据IP归属标示出IP对应单位，根据每个IP的活动次数以及产生的流量综合分析出IP的平均流量，可以得到单位下活跃IP的综合排名。最终还可以以单位为中心，统计出单位的活跃IP数量以及IP的平均流量，按照IP平均流量等对单位进行排名。

主权项

1.一种基于流量日志统计用户IP活跃度的方法，其特征在于，包括：步骤1、基于教育网骨干主节点采集IP访问日志记录；步骤2、从所获取的IP访问日志记录中过滤异常访问IP记录；步骤3、对过滤后的IP访问日志记录中的独立IP的访问量进行统计，得到用户IP活跃度的排名；其中，所述步骤3利用hadoop云计算深入挖掘网站ICP的IP流量情况，包括：当日志文件上传给hadoop的HDFS以后，编写MapReduce程序并向Jobtracker提交作业，对数据进行预处理；MapReduce函数的输入格式采用TextInputFormat格式，将日志文件以行偏量值作为Key,行的内容为value提供给map函数；在MapReduce函数的reduce中处理数据时，Reduce方法的输入是map方法的输出，在map阶段将访问日志解析成record后以sessionID方式输出，在reduce中将获得session的所有日志记录，保存这个IP一次完整的信息，对其中以下几个方面的信息进行提取：单个记录中信息提取和转换:IP信息转换,由IP转换成其ICP信息；IP活跃次数的统计以及流量汇总统计；Session信息的提取转换:按照访问日志的记录信息对IP进行排序，并计算出IP访问的时间间隔，为后期测定IP访问是否异常作为判断的依据；将访问日志数据在Reduce端连接以后就可以输出结果；利用hadoop并行算法处理IP地址流量归并，每个小时把多个节点合并出的ICP访问日志文件传输给hadoop服务器；设置web服务器每天产生一个新的目录，目录下面产生多个日志文件，设置系统每小时向HDFS导入上一小时的日志文件；完成导入后，设置系统定时器，启动MapReduce程序，提取并计算出独立IP的访问量统计、该IP产生流量总和、该IP对应的ICP标识三个统计指标；完成计算后，设置系统定时器，从HDFS导出统计指标数据到数据库。