[发明专利]网页分类方法、装置及计算机可读存储介质

说明书

本发明提供一种网页分类方法、装置及存储介质，该方法从种子网页中获取网页链接，从该网页链接所指向的待分类网页中获取网页源码后，对所述网页源码进行噪音过滤，获取每个待分类网页的筛选文本，对该筛选文本进行分词和去停用词处理，得到每个待分类网页的可用词集合。之后，该方法从所述可用词集合中提取核心关键词，得到每个待分类网页的核心关键词集合，计算每个待分类网页的核心关键词词向量的平均值，并将该平均值输入训练得到的网页分类模型，得到每个待分类网页的分类结果。利用本发明，可以对种子网页的网页链接所指向的待分类网页实现自动分类。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种网页分类方法、装置及计算机可读存储介质。

背景技术

随着互联网技术和Web技术的高速发展，互联网上网页的数量在不断增加，数据资源在不断丰富，为各种数据密集型的应用提供了潜在的数据来源。然而，过大的信息量给人们处理数据信息带来了很多困难，传统的靠人工的信息处理方式显然已经无法满足大量数据处理的要求。在这一背景下，如何自动获取海量网页的有效文本内容，并对海量网页进行自动分类，是组织和管理网络资源的关键。

发明内容

鉴于以上原因，本发明提供一种网页分类方法、装置及计算机可读存储介质，其主要目的在于结合爬虫技术和神经网络模型，对网页进行自动分类。

为实现上述目的，本发明提供一种网页分类方法，该方法包括：

获取步骤：从种子网页中获取网页链接，从所述网页链接指向的待分类网页中获取网页源码；

预处理步骤：对所述网页源码进行噪音过滤，获取每个待分类网页的筛选文本，对该筛选文本进行分词和去停用词处理，得到每个待分类网页的可用词集合；

提取步骤：从所述可用词集合中提取核心关键词，得到每个待分类网页的核心关键词集合；

计算步骤：计算每个待分类网页的核心关键词词向量的平均值，将该平均值输入预先训练得到的网页分类模型，得到每个待分类网页的分类结果；及

循环步骤：将获得分类结果的待分类网页作为新的种子网页，返回获取步骤。

优选地，所述网页分类模型的训练步骤包括：

为预先选取的预设数量的种子网页标注网页类型；

对所述种子网页的网页源码进行预处理，得到每个种子网页的可用词集合；

从所述可用词集合中提取核心关键词，得到每个种子网页的核心关键词集合；

计算每个种子网页的核心关键词词向量的平均值；及

利用每个种子网页的核心关键词词向量的平均值和对应的网页类型标注对神经网络模型进行训练，得到网页分类模型。

优选地，所述筛选文本包括网页源码中标题标签、关键词标签和描述标签中的文本部分，所述分词处理采用的分词方法包括基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法中的一种或几种。

优选地，该方法还包括：

设置所述循环步骤的执行次数，当满足设置要求时，终止所述循环步骤。

优选地，该方法还包括：

将具有网页类型标注的种子网页和获得分类结果的待分类网页对应的网页链接存储至数据库；

当获取的网页链接已在所述数据库中存在时，终止针对该网页链接的后续操作。

本发明还提供一种电子装置，该电子装置包括存储器和处理器，所述存储器中包括网页分类程序，该网页分类程序被所述处理器执行时实现如下步骤：