[发明专利]一种网页分类方法和设备

说明书

技术领域

本发明涉及互联网技术领域，尤其涉及一种网页分类方法和设备。

背景技术

随着移动互联网技术的高速发展，移动互联网用户的数量越来越多，因此，对移动互联网用户的行为分析也逐渐成为一个研究热点。

现有技术中，通常根据移动互联网用户的访问日志对用户行为进行分析。具体的，移动互联网用户的访问日志存放在WAP(Wireless Application Protocol，无线应用通讯协议)网关中，该访问日志中记录了用户所访问的网页的URL(Universal Resource Locator，统一资源定位符)，通过查询URL类别库可以获知用户所访问的网页类别，进而获知对应用户的行为偏好。

其中，现有网页分类方法可以包括以下步骤：

1、爬虫爬取网页内容；

2、对网页内容进行解析，获取相应文本；

3、对文本进行分析、获取关键词；

4、利用算法模型，例如朴素贝叶斯或者SVM等文本分类算法模型，进行分类；其中，算法模型通常提前根据训练集训练得到。

通过上述方法可以对用户所访问的网页(或网页对应的URL)进行分类，进而可以建立URL类别库。其中，现有技术中的URL类别库可以如表1所示。

表1

在实现本发明的过程中，发明人发现现有技术中至少存在以下问题：

现有技术中，URL类别库是一个简单的扁平数据表，条目之间没有任何关系，为了能准确查询到用户所访问的网页的类别，需要存储大量的数据，且需要实时更新类别库。而由于互联网发展迅速，新增网页速度极快，即使每日做一次URL类别库更新，URL类别库并不可能保存所有网页的分类。此时，可采用的方法是实时抓取、预测的方法，预测一个网页的类别可能时间需要约数十分钟，如果批量预测，虽然可以并行化，但时间仍然很长，至少小时级别。

发明内容

本发明实施例提供一种网页分类的方法和设备，以提高确定网页类别的效率和成功率。

为了达到上述目的，本发明实施例提供一种网页分类方法，应用于基于URL类别库实现的网页分类流程，所述URL类别库中记录有各层级URL及各URL的预测类别，其中，相邻层级的URL中的上层URL是在下层URL的基础上截取得到的，该方法包括：

根据待分类网页的URL查询URL类别库；

如果未查询到匹配的URL，则根据该URL的上层URL查询URL类别库，并在查询到匹配的URL时，根据查询到的URL的预测类别确定待分类网页的类别。

本发明实施例还提供一种网页分类设备，应用于基于统一资源定位符URL类别库实现的网页分类流程，所述URL类别库中记录有各层级URL及各URL的预测类别，其中，相邻层级的URL中的上层URL是在下层URL的基础上截取得到的，该设备包括：

上层URL生成模块，用于根据待分类网页的URL，生成该URL的上层URL；

查询模块，用于根据待分类网页的URL查询URL类别库；如果未查询到匹配的URL，则根据该URL的上层URL查询URL类别库；

确定模块，用于在所述查询模块查询到匹配的URL时，根据查询到的URL的预测类别确定待分类网页的类别。

与现有技术相比，本发明实施例通过对URL进行层级划分，在URL类别库中记录各层级URL，并对应记录各URL的预测类别；当需要确定待分类网页的类别时，获取该待分类网页的URL，并查询URL类别库中是否记录有该URL；当URL类别库中未记录有相同的URL时，根据该URL的上层URL的预测类别确定为待分类网页的类别，提高了确定网页类别的效率和成功率。

附图说明

图1为本发明实施例提供的URL类别库生成流程示意图；

图2为本发明实施例提供的网页分类方法流程示意图；

图3为本发明实施例提供的网页分类设备的结构示意图。

具体实施方式