[发明专利]识别网络爬虫以及提取网络爬虫特征的方法及装置

摘要

本发明公开了识别网络爬虫以及提取网络爬虫特征的方法及装置，此方法包括：确定用户访问特征集中的子集，此子集中的访问特征的访问参数与整体业务访问特征集中的至少一访问特征的访问参数相同；根据子集与整体业务访问特征集确定出综合访问特征集；从作为训练数据的历史日志中获取样本用户的用户访问特征集和综合访问特征集的合集中各访问特征的值，根据合集中各访问特征的值从合集中选择出重要访问特征集；根据重要访问特征集检测待检测用户是否为爬虫。通过本发明获得的爬虫特征具有代表性，通过有效性监控如果随时间推移出现误判则可以调整重要访问特征及相应的规则，最终达到较高的爬虫检测的精确率和召回率。

主权项

1.一种识别网络爬虫的方法，其特征在于，包括：步骤1，确定作为训练数据的历史日志，确定作为训练数据的历史日志中的样本用户，确定样本用户中的非爬虫样本用户和爬虫样本用户；步骤2，确定用户访问特征集和整体业务访问特征集；步骤3，确定所述用户访问特征集中的子集，此子集中的访问特征的访问参数与所述整体业务访问特征集中的至少一访问特征的访问参数相同；步骤4，根据所述子集与所述整体业务访问特征集确定出综合访问特征集；步骤5，从所述作为训练数据的历史日志中获取所述样本用户的所述用户访问特征集和所述综合访问特征集的合集中各访问特征的值，根据合集中各访问特征的值从所述合集中选择出重要访问特征集；步骤6，根据所述重要访问特征集检测待检测用户是否为爬虫；所述用户访问特征集包括以下特征中的至少一种：响应码类特征、请求目标类特征、请求资源类特征、用户特征类特征、请求性能类特征；所述响应码类特征包括以下特征中至少一种：2xx请求数、3xx请求数、4xx请求数、5xx请求数、2xx请求数占比、3xx请求数占比、4xx请求数占比、5xx请求数占比；所述请求目标类特征包括以下特征中至少一种：POST请求数、GET请求数、HEAD请求数、其它请求方式请求数、POST请求数占比、GET请求数占比、HEAD请求数占比、其它请求方式请求数占比、ajax请求数、静态资源请求数、ajax请求数占比、静态资源请求数占比、独立URI数、被请求最多URI的请求数，独立path请求数、被请求最多path的请求数、独立uri pattern请求数、被请求最多的uri pattern数；所述请求资源类特征包括以下特征中至少一种：独立referer数、被使用最多的referer数；所述用户特征类特征包括以下特征中至少一种：独立userAgent数、被使用最多的userAgent数；所述请求性能类特征包括以下特征中至少一种：ResponseBodyByteSent请求数平均值、RequestLength平均值、ResponseTime平均值、RequestTime平均值、ResponseBodyByteSent最大值、RequestLength最大值、平均ResponseTime最大值、RequestTime最大值；所述整体业务访问特征集中访问特征的值是根据用户访问特征集中访问特征的值求均值得到的。