[发明专利]一种基于网页切分爬取的网络地址置信度评估方法

摘要

本专利公开发明了一种基于网页切分爬取的网络地址置信度评估方法，首先对已分类的网页链接进行切分，使用脚本爬取切分后的网页内容，采用卷积神经网络对网页内容进行分类，将切分后的网页分类准确率与原始网页分类准确率相减，得到网页分类差值集，再通过计算不同切分网页的权重，得到网络地址置信度算法公式，接着使用脚本爬取待分类网页链接，并计算切分的数量，将置信度大于一定阈值的网页链接放入已分类网页链接集中继续优化算法公式中的权重，最后使用网络地址置信度算法得出爬取网页的置信度。本发明方法有效的评估了在对网页进行切分爬取时，待爬取的网页与原始网页内容的信息差异，提高了网页爬取的效率。

主权项

1.一种基于网页切分爬取的网络地址置信度评估方法，其特征在于，具体步骤如下：(1)先对网页链接进行分类，然后对已分类的网页链接按照“/”和“.”进行切分得到子网页链接，爬取子网页链接的网页信息，采用卷积神经网络对子网页链接进行分类，将子网页链接分类准确率与原始网页分类准确率相减得出网页分类差值集；(2)将步骤(1)中网页分类差值低于0.5的数据置零，分别计算按照“/”和“.”切分的网页准确率的平均数，然后得到网络地址置信度权重F1和F2，将计算后的F1和F2带入网络地址置信度算法；(3)统计待爬取的网页链接中“/”和“.”的数量，依次采用脚本访问待爬取网页，分别统计能够正常访问网页时“/”和“.”的数量，将处理后的网页链接放入已分类网页地址集，重新计算F1和F2的值，最后使用网络地址置信度算法计算待爬取网页的网络地址置信度。