[发明专利]一种网页类型识别方法及装置

权利要求书

1.一种网页类型识别方法，其特征在于，所述方法包括：

对待识别网页上的文本内容进行分词处理，得到至少一个文本词语；

统计每一文本词语的词频-逆向文件频率TF-IDF权重；

统计所述待识别网页中每一超文本标记语言HTML标签的出现次数占总出现次数的比重，所述总出现次数为所述待识别网页中所有HTML标签的出现次数之和；

根据每一文本词语的TF-IDF权重和每一HTML标签的比重，构建所述待识别网页对应的第一预设数量维的特征向量；

将所述待识别网页对应的特征向量输入预设向量分类模型，获得所述待识别网页的类型；

所述对待识别网页上的文本内容进行分词处理，得到至少一个文本词语的步骤，包括：

对待识别网页中的文字内容进行分词处理，得到至少一个文字词语；

对所述待识别网页上的链接进行分词处理，得到至少一个字符串；

将所述至少一个文字词语和所述至少一个字符串组合，得到所述待识别网页的至少一个文本词语。

2.根据权利要求1所述的方法，其特征在于，所述统计每一文本词语的TF-IDF权重的步骤，包括：

利用以下公式，确定所述至少一个文本词语中每一文本词语的词频TF_w：

利用以下公式，确定所述至少一个文本词语中每一文本词语的逆向文件频率IDF_w：

利用以下公式，确定所述至少一个文本词语中每一文本词语的TF-IDF权重δ_w：

δ_w＝TF_w*IDF_w；

其中，w表示所述至少一个文本词语中的文本词语w，T_w表示所述文本词语w在所述至少一个文本词语中出现的次数，T₀表示所述至少一个文本词语的总个数；F_w表示预设语料库中包括所述文本词语w的网页的个数；F₀表示所述预设语料库中包括的网页的总个数。

3.根据权利要求1所述的方法，其特征在于，所述根据每一文本词语的TF-IDF权重和每一HTML标签的比重，构建所述待识别网页对应的第一预设数量维的特征向量的步骤，包括：

确定所述至少一个文本词语中TF-IDF权重最高的第二预设数量个文本词语，为所述待识别网页的网页代表词；

根据每一网页代表词的TF-IDF权重和每一HTML标签的比重，构建所述待识别网页对应的第一预设数量维的特征向量，所述第二预设数量小于所述第一预设数量。

4.根据权利要求3所述的方法，其特征在于，所述确定所述至少一个文本词语中TF-IDF权重最高的第二预设数量个文本词语，为所述待识别网页的网页代表词的步骤，包括：

检测所述至少一个文本词语的总个数是否小于第二预设数量；

若是，则获取目标数量个空白格，所述目标数量为所述第二预设数量与所述至少一个文本词语的总个数的差值；以及，将所述至少一个文本词语和所述目标数量个空白格，作为所述待识别网页的网页代表词；

若否，则从所述至少一个文本词语中，提取TF-IDF权重最高的第二预设数量个文本词语，作为所述待识别网页的网页代表词。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

获取预设训练集，所述预设训练集包括多个样本网页以及每一样本网页的类型；

对每一样本网页上的文本内容进行分词处理，得到每一样本网页的至少一个文本词语；

统计每一样本网页的至少一个文本词语中每一文本词语的TF-IDF权重；

统计每一样本网页中每一HTML标签的出现次数占总出现次数的比重；

根据每一样本网页的每一文本词语的TF-IDF权重和每一HTML标签的比重，构建每一样本网页对应的第一预设数量维的特征向量；

利用每一样本网页对应的特征向量以及每一样本网页的类型，训练预设机器学习分类算法，得到所述预设向量分类模型。