[发明专利]网页识别方法、装置、存储介质和处理器

说明书

本发明公开了一种网页识别方法、装置、存储介质和处理器。其中，该方法包括：获取通过访问目标网络资源地址所得到的目标信息；获取与目标信息对应的异常信息，其中，异常信息预先通过访问异常网络资源地址得到，异常网络资源地址通过对目标网络资源地址进行修改得到；基于异常信息确定目标网络资源地址对应的目标网页是否异常。本发明解决了对网页进行识别的准确性低的技术问题。

技术领域

本发明涉及互联网领域，具体而言，涉及一种网页识别方法、装置、存储介质和处理器。

背景技术

目前，在对网页进行识别时，通常是根据超文本传输协议(Hyper Text TransferProtocol，简称为HTTP)状态码，来确定其是否为异常页面，可以获取HTTP响应(HttpResponse)的状态栏，从中提取状态码，直接基于状态码来判断待处理的网页是否为异常页面，比如，在返回的状态码为异常状态码时，直接确定网页异常，而在返回的状态码不为异常状态码时，直接确定网页正常。

但是，上述方法对于站点自定义的状态码，而非异常页面的状态码，却无法有效地识别出网页是否异常；另外，如果站点做了容错处理，在访问页面错误的情况下，服务器可能会返回当前页面或默认页面，从而错误地直接将当前网页确定为正常网页，并不能有效地识别出网页为异常网页，存在对网页进行识别的准确性低的技术问题。

针对上述的对网页进行识别的准确性低的技术问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种网页识别方法、装置、存储介质和处理器，以至少解决对网页进行识别的准确性低的技术问题。

根据本发明实施例的一个方面，提供了一种网页识别方法。该方法包括：网页识别方法，其特征在于，包括：获取通过访问目标网络资源地址所得到的目标信息；获取与目标信息对应的异常信息，其中，异常信息预先通过访问异常网络资源地址得到，异常网络资源地址通过对目标网络资源地址进行修改得到；基于异常信息确定目标网络资源地址对应的目标网页是否异常。

可选地，异常网络资源地址的格式与目标网络资源地址的格式相同。

可选地，该方法还包括：在目标网络资源地址中存在文件名的情况下，对文件名进行修改，并将文件名修改后的目标网络资源地址确定为异常网络资源地址；在目标网络地址中不存在文件名的情况下，随机生成一个目标文件名，并将包括目标文件名的目标网络资源地址确定为异常网络资源地址。

可选地，基于异常信息确定目标网络资源地址对应的目标网页是否异常包括：在目标信息不包括与异常网络资源地址对应的异常状态码的情况下，基于异常信息确定目标网页是否异常。

可选地，在目标信息不包括异常状态码的情况下，基于异常信息确定目标网页是否异常包括：在目标信息不包括异常状态码的情况下，如果异常信息包括异常状态码，则确定目标网页为非目标异常网页。

可选地，该方法还包括：如果异常信息不包括异常状态码，对比目标信息中的第一响应头值和异常信息中的第二响应头值；在第一响应头值和第二响应头值不相同的情况下，确定目标网页为非目标异常网页。

可选地，该方法还包括：在的第一响应头值和第二响应头值相同的情况下，获取目标信息与异常信息之间的第一相似度；在第一相似度大于第一阈值的情况下，确定目标网页为目标异常网页；在第一相似度不大于第一阈值的情况下，确定目标网页为非目标异常网页。

可选地，基于异常信息确定目标网络资源地址对应的目标网页是否异常包括：将与异常网络资源地址对应的目标异常网页划分为多个第一子网页；从多个第一子网页中识别出包括异常信息的异常子网页；将目标网页划分为多个第二子网页，并从多个第二子网页中确定与异常子网页对应的目标子网页；获取异常子网页和目标子网页之间的第二相似度；在第二相似度大于第二阈值的情况下，确定目标网页为目标异常网页；在第二相似度不大于第二阈值的情况下，确定目标网页为非目标异常网页。