[发明专利]网络恶意爬虫识别方法及装置

权利要求书

1.一种网络恶意爬虫识别方法，其特征在于，包括：

获取待检测网络地址，其中，所述待检测网络地址为满足第一预设条件的网络地址，如果在预设时间段内通过网络地址访问目标网站的次数超过预设次数阈值，则确定所述网络地址满足所述第一预设条件；

获取所述待检测网络地址对应的用户访问信息，其中，所述用户访问信息包括访问所述目标网站的网络终端信息，所述网络终端信息包括目标网络终端信息；

根据对应的用户访问信息中包含所述目标网络终端信息的待检测网络地址的个数和在预设时间段内通过所述待检测网络地址访问所述目标网站的次数计算目标访问比率；

判断所述目标访问比率是否超过预设比率阈值；以及

如果所述目标访问比率超过所述预设比率阈值，则确定通过所述待检测网络地址访问所述目标网站的行为是恶意爬虫访问行为，

其中，根据对应的用户访问信息中包含所述目标网络终端信息的待检测网络地址的个数和在预设时间段内通过所述待检测网络地址访问所述目标网站的次数计算目标访问比率包括：

统计在所述预设时间段内通过所述待检测网络地址访问所述目标网站的次数；

判断所述待检测网络地址对应的用户访问信息中是否包含所述目标网络终端信息；

如果所述待检测网络地址对应的用户访问信息中包含所述目标网络终端信息，则统计对应的用户访问信息中包含所述目标网络终端信息的待检测网络地址的个数；以及

通过以下公式计算所述目标访问比率：

S＝A/B，

其中，S为所述目标访问比率，A为对应的用户访问信息中包含所述目标网络终端信息的待检测网络地址的个数，B为在预设时间段内通过所述待检测网络地址访问所述目标网站的次数。

2.根据权利要求1所述的方法，其特征在于，获取所述待检测网络地址对应的用户访问信息包括：

获取所述目标网站的访问日志；

解析所述访问日志，获取解析结果；以及

从所述解析结果中获取所述待检测网络地址对应的用户访问信息。

3.根据权利要求1所述的方法，其特征在于，通过以下方法确定所述预设比率阈值：

确定参考网络地址集合，其中，所述参考网络地址集合包括多个网络地址，所述多个网络地址均为满足第二预设条件的网络地址，如果在所述预设时间段内通过网络地址访问所述目标网站的次数未超过所述预设次数阈值，则确定所述网络地址满足所述第二预设条件；

获取所述参考网络地址集合对应的用户访问信息；以及

根据所述参考网络地址集合对应的用户访问信息确定预设比率阈值，其中，所述预设比率阈值为所述参考网络地址集合中对应的用户访问信息中包含所述目标网络终端信息的网络地址的个数和在预设时间段内通过所述参考网络地址集合中的网络地址访问所述目标网站的次数的比值。

4.根据权利要求3所述的方法，其特征在于，在所述预设时间段内通过多个网络地址访问所述目标网站，确定参考网络地址集合包括：

分别检测在所述预设时间段内通过所述多个网络地址访问所述目标网站的次数是否超过所述预设次数阈值；以及

确定在所述预设时间段内访问所述目标网站的次数未超过所述预设次数阈值的网络地址为所述参考网络地址集合中的网络地址。