[发明专利]一种网页分类方法及系统

说明书

本发明公开了一种网页分类方法，包括：抓取并从网页的文本数据中提取所述网页的关键词；将所述关键词与已分类好的网页特征词库中的特征词进行匹配，统计所述特征词的词频总数；判断所述词频总数是否小于预设的阈值；若是，则截取并根据所述网页的页面图像对所述网页进行分类；若否，则根据多个所述特征词及其对应的词频对所述网页进行分类。由此，所述方法综合利用图像信息与文本信息，有机地结合了基于文本信息对网页进行分类和基于图像信息对网页进行分类的方法，通过准确的判断待分类网页属于短文本网页还是长文本网页，选择最合适有效的网页分类步骤，相比现有的网页分类方法，其在对现行的网页进行分类时有更高的准确率和召回率。

技术领域

本发明涉及互联网技术领域，具体涉及一种网页分类方法及系统。

背景技术

随着互联网技术的普及和飞速发展，网络信息成爆炸性增长，一方面满足了用户对信息的需求，另一方面，如何根据网页内容把网页自动划分到不同的类别，以提高用户的体验，是目前面临的一个问题。

衡量网页分类方法的指标具体包括召回率和准确率等。其中，召回率，是正确分出类别的网页数量和所有网页中属于该类别的网页数量的比值，用于衡量网页分类方法是否具有通用性；准确率，是正确分出类别的网页数量除以所有分出类别的网页数量的比值，用于衡量网页分类方法是否准确。现有技术常用的网页分类方法是：提取网页的文本内容和标签信息等网页内容特征，利用文本分类器对网页内容特征进行分类。其中的文本分类器是预先训练好的分类器，其使用分类算法对文本进行分类。

对于短文本的网页，现有技术能够提取的有效文本特征(代表网页唯一主题的有效特征)维度不足，再者，网页自身的背景资料容易产生诸如广告、推荐信息、版权声明等与网页内容无关的噪声信息，更容易导致错误分类，从而引起准确率和召回率较低的问题。随着各种数字设备的广泛普及，网页中的图像数量越来越多，文本数量越来越少，只利用文本信息对网页进行分类已经不能很好地符合如今网页的实际形态。

为此，非常有必要设计一种综合利用图像信息与文本信息的网页分类方法，以提高对现行网页进行分类的召回率和准确率。

发明内容

本发明要解决的技术问题在于，针对现有网页分类方法不能准确地对现行的文本数量少、图像数量多的网页进行分类的问题，提供一种综合利用图像信息与文本信息的网页分类方法，以提高对现行发的文本数量少、图像数量多的网页进行分类的召回率和准确率。

本发明解决其问题所采用的技术方案是：

一方面，提供一种网页分类方法，包括以下步骤：

步骤S1，抓取并从网页的文本数据中提取所述网页的关键词；

步骤S2，将所述关键词与已分类好的网页特征词库中的特征词进行匹配，统计所述特征词的词频总数；

步骤S3，判断所述词频总数是否小于预设的阈值；

步骤S4，若是，则截取并根据所述网页的页面图像对所述网页进行分类；

步骤S5，若否，则根据多个所述特征词及其对应的词频对所述网页进行分类。

在本发明提供的网页分类方法中，所述步骤S1包括以下步骤：

步骤S11，提取所述网页中包含的文本数据；

步骤S12，对所述文本数据进行分词处理，得到至少一个关键词；

步骤S13，除掉无类别代表性的各类网页通用的所述关键词。

在本发明提供的网页分类方法中，所述步骤S4包括以下步骤：

步骤S41，对所述网页页面进行截图，得到所述网页的页面图像；

步骤S42，根据所述页面图像对所述网页的结构进行解构分析，提取出所述网页包含的图片；