[发明专利]一种慢速网站访问异常信息的查询方法及装置

说明书

本发明公开了一种基于IP和URL的实时数据采集的慢速网站访问异常信息的查询方法及装置，其包括:获取用户反馈的记录中包含的目的地址，利用数据源统计目的地址的访问情况；其中，所述目的地址类型包括目的IP和URL地址，且根据目的地址类型的不同选择不同的数据源进行统计；如果是目的IP，则采用二分法查找并统计相应数据源中目的IP的访问情况；如果是URL地址，则在相应数据源中查找并统计URL地址的访问情况；通过链表排序得到目的IP的访问次数最高的预定数目的记录；其中，所述访问次数从统计得到的访问情况中获得；显示排序得到的结果。本发明通过对海量数据统计，实时获取用户反馈的网站域名或URL的访问情况。

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种基于IP和URL实时采集数据的慢速网站访问异常信息的查询方法及系统。本发明通过hadoop集群对海量数据统计，结合慢速网站中用户反馈信息，实时获取用户反馈的网站域名或URL的访问情况。

背景技术

近年来，随着网络技术的普及和发展，中国网民的数量急剧增长。中国互联网络信息中心(CNNIC)日前在京发布《第33次中国互联网络发展状况统计报告》。报告显示，截至2013年12月，中国网民规模达6.18亿，全年共计新增网民5358万人。互联网普及率为45.8％，较2012年底提升3.7个百分点。面对日益增长的网名数量，作为网络服务商，需要了解网络的运行状况，同时为用户提供更快更优的网络环境。

慢速网站为用户提供了反馈某一个网站或者目的IP的访问情况。用户可以将某个域名或URL访问正常的信息根据系统的要求提供出来，以便其他有问题的访问者根据相关的反馈信息选择合适的DNS。针对用户反馈的无响应或者响应速度不稳定，时好时坏的网站域名URL或者目的IP，通过hadoop或者URL库记录查询出其他用户访问的情况，通过获取这些用户的DNS，为其他用户提供较优的DNS，及时迅速的解决用户提出的问题。

发明内容

有鉴于此，本发明提出了一种基于IP和URL的通过hadoop或者URL库记录实时数据采集的慢速网站访问异常信息查询方法。

根据本发明一方面，其提供了一种基于IP和URL的实时数据采集的慢速网站访问异常信息的查询方法，其包括：

步骤101：获取用户反馈的记录中包含的目的地址，利用数据源统计目的地址的访问情况；

其中，所述目的地址类型包括目的IP和URL地址，且根据目的地址类型的不同选择不同的数据源进行统计；如果是目的IP，则采用二分法查找并统计相应数据源中目的IP的访问情况；如果是URL地址，则在相应数据源中查找并统计URL地址的访问情况；

步骤102：通过链表排序得到目的IP的访问次数最高的预定数目的记录；其中，所述访问次数从统计得到的访问情况中获得；

步骤103：显示排序得到的结果。

其中，所述目的地址的类型为目的IP时，对应的数据源为hadoop集群中的数据；所述目的地址的类型为URL地址时，对应的数据源为所述URL库记录中的数据。

其中，利用二分法查找并统计相应数据源中目的IP的访问情况具体包括：

利用二分法判断当前记录中所述目的IP是否在本次统计范围内；

如果在本次统计范围内，则使用二分法判断该记录的源IP是否属于网内用户；

如果是网内用户，则标记该记录中源IP所属单位；

源IP地址段或源IP所属单位为单元，统计所述目的IP地址的访问情况。

其中，所述本次统计范围为预先定义的网内IP地址列表。

其中，利用所述二分法查找时，将IP地址转换为long型。

其中，所述二分法具体过程为：