[发明专利]基于Word2Vec的主题爬虫系统和方法

说明书

基于Word2Vec的主题爬虫系统和方法。本发明公开了一种基于Word2Vec的主题爬虫系统抓取信息的方法，具体步骤包括：步骤1：通过种子配置模块上传种子链接，然后利用关键词模块进行关键词的交互与筛选，之后启动爬虫；步骤2：通过下载模块下载待抓取的URL链接，下载后利用解析模块对网页内容进行解析，包括提取网页正文，全部链接，全部代码，网页类型；步骤3：根据评分模块，利用解析的内容进行页面的主题相关度计算，并给出各个子链接的相关性评分预测。本发明让关键词集合之间通过Word2Vec训练出的向量进行相关度比较，有利于主题爬虫在爬行过程中更加精准地获取主题相关页面，进而保持较高的爬行准确率。

技术领域

本发明涉及互联网技术领域，更具体的说是涉及基于Word2Vec的主题爬虫系统和方法。

背景技术

近年来，互联网在全球范围快速发展，截至2017年6月，全球网民总数达38.9亿，普及率为51.7％。中国网民规模达7.51亿，互联网普及率为54.3％，中国网站总数达506万个，“.CN”下网站为270万个。互联网的快速发展和Web页面的爆炸式增长一方面让信息能够更加迅速便捷的传播，另一方面也造成了信息过载现象——信息的过于丰富远远超过了个人能够处理的范围，大量无关、冗余的数据直接影响了用户查找目标数据的体验。如何让用户从海量Web页面中迅速获取目标数据正变的愈发重要。

在互联网发展初期，以Yahoo为代表的分类目录网站通过人工梳理的方法，将Web上众多优秀网站归类到各个目录中，用户可以通过层层点击的方法查找相关信息。这种方式的优点是能够为用户访问互联网起到导航作用，满足一部分用户宽泛的检索需求，向用户提供数量有限的相关信息。但是对于检索要求更高的用户来说，分类目录网站能够提供的有效检索信息少得可怜，而且由于采用人工分类，分类标准差异性很大，这对用户的检索体验也有很大影响。

为了追求更好的检索体验，提高检索质量，通用搜索引擎应运而生。通用搜索引擎利用爬虫程序对互联网网站进行检索，当发现未处理过的网页之后，爬虫系统会尝试提取网页信息并存储到数据库中。用户通过提交查询词进行检索，搜索引擎会将数据库中的网页信息和用户提交的查询词进行比对，将相关度高的信息反馈给用户。通用搜索引擎检索的全面性，准确性和实时性相比于分类目录网站提高了很多。但是针对某一具体主题，通用搜索引擎存在检索目标过大，检索结果中充满了噪音，检索效率极低等问题，无法满足用户在特定领域的检索需求。这些问题主要是由于通用搜索引擎使用的爬虫技术只是简单地将网页爬取下来，在爬行过程中并不关心网页的主题，是泛泛地爬行。面对互联网中无数的网页，爬虫最终爬取到的页面和用户想要了解主题之间相关的概率极低，甚至可能为零。

因此，如何提供一种围绕指定主题，尽量避免无关网页的下载，高效精准的爬虫系统和方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于Word2Vec的主题爬虫系统和方法，让关键词集合之间通过Word2Vec训练出的向量进行相关度比较，有利于主题爬虫在爬行过程中更加精准地获取主题相关页面，进而保持较高的爬行准确率。

为了实现上述目的，本发明提供如下技术方案：

基于Word2Vec的主题爬虫系统，包括：种子配置模块、关键词模块、下载模块、解析模块、评分模块和存储模块；

其中，所述种子配置模块依靠人工选取种子链接，将所述种子链接上传至服务器；

所述关键词模块在浏览器中输入用于描述主题的关键词，然后进行近义词深度等级选择，进行关键词扩展；

所述下载模块，进行网页下载，并设置超时时间，响应时间大于所述超时间放弃所述网页的下载，然后将下载的所述网页封装成Html对象；

所述解析模块，从封装的网页提取信息，并将所述信息赋值给所述Html对象的各个属性；