[发明专利]基于Word2Vec的主题爬虫系统和方法

摘要

基于Word2Vec的主题爬虫系统和方法。本发明公开了一种基于Word2Vec的主题爬虫系统抓取信息的方法，具体步骤包括：步骤1：通过种子配置模块上传种子链接，然后利用关键词模块进行关键词的交互与筛选，之后启动爬虫；步骤2：通过下载模块下载待抓取的URL链接，下载后利用解析模块对网页内容进行解析，包括提取网页正文，全部链接，全部代码，网页类型；步骤3：根据评分模块，利用解析的内容进行页面的主题相关度计算，并给出各个子链接的相关性评分预测。本发明让关键词集合之间通过Word2Vec训练出的向量进行相关度比较，有利于主题爬虫在爬行过程中更加精准地获取主题相关页面，进而保持较高的爬行准确率。

主权项

1.基于Word2Vec的主题爬虫系统，其特征在于，包括：种子配置模块、关键词模块、下载模块、解析模块、评分模块和存储模块；其中，所述种子配置模块依靠人工选取种子链接，将所述种子链接上传至服务器；所述关键词模块在浏览器中输入用于描述主题的关键词，然后进行近义词深度等级选择，进行关键词扩展；所述下载模块，进行网页下载，并设置超时时间，响应时间大于所述超时间放弃所述网页的下载，然后将下载的所述网页封装成Html对象；所述解析模块，从封装的网页提取信息，并将所述信息赋值给所述Html对象的各个属性；所述评分模块，用于一是对网页与主题的相关性给予评分以便筛选网页，二是对链接进行预测评分以便排序；网页被判断为主题相关后会进入所述存储模块，若网页被判断为主题无关则直接丢弃；而链接在评分之后会作为待抓取URL等待下一轮的下载；所述存储模块，有选择的存储网页的ID、链接、标题和正文。