[发明专利]基于Word2Vec的主题爬虫系统和方法

权利要求书

1.基于Word2Vec的主题爬虫系统，其特征在于，包括：种子配置模块、关键词模块、下载模块、解析模块、评分模块和存储模块；

其中，所述种子配置模块依靠人工选取种子链接，将所述种子链接上传至服务器；

所述关键词模块在浏览器中输入用于描述主题的关键词，然后进行近义词深度等级选择，进行关键词扩展；

所述下载模块，进行网页下载，并设置超时时间，响应时间大于所述超时间放弃所述网页的下载，然后将下载的所述网页封装成Html对象；

所述解析模块，从封装的网页提取信息，并将所述信息赋值给所述Html对象的各个属性；

所述评分模块，用于一是对网页与主题的相关性给予评分以便筛选网页，二是对链接进行预测评分以便排序；网页被判断为主题相关后会进入所述存储模块，若网页被判断为主题无关则直接丢弃；而链接在评分之后会作为待抓取URL等待下一轮的下载；

所述存储模块，有选择的存储网页的ID、链接、标题和正文。

2.根据权利要求1所述的基于Word2Vec的主题爬虫系统，其特征在于，所述种子配置模块按行保存种子链接，利用PHP语言，通过POST方式将种子文件上传至服务器；上传后所述服务器判断文件类型，成功上传种子文件继续操作。

3.根据权利要求2所述的基于Word2Vec的主题爬虫系统，其特征在于，所述种子文件上传成功后，新的所述种子文件替代所述服务器上原有的种子文件。

4.根据权利要求1所述的基于Word2Vec的主题爬虫系统，其特征在于，所述关键词模块利用脚本语言获取用户输入的关键词，交给PHP程序后通过SOCKET通信发送给处理程序进行处理，处理程序作为服务端始终处于监听状态，收到前台发送的关键词后，利用Word2Vec对关键词进行扩展，去重后重新发送给PHP程序，并再次利用脚本脚本将其显示在下方的文本域中。

5.根据权利要求1所述的基于Word2Vec的主题爬虫系统，其特征在于，所述下载模块利用处理的chardet模块以及urllib模块中的getparam方法判断网页的编码方式，将下载网页统一为utf-8编码方式，下载后的页面封装成自定义的Html类的对象以便后续解析。

6.根据权利要求1所述的基于Word2Vec的主题爬虫系统，其特征在于，所述Html对象的各个属性包括：page、content、type和links；其中page用于存储网页的全部代码，content用于存储解析出的网页正文，type用于存储网页类型即主题型或目录型，links存储页面中提取出的全部链接。

7.一种TRCW模型，其特征在于，包括：TRCW模型的具体公式如下：

其中sim(K_d,K_t)用于计算文档D中某关键词和主题T中某关键词的相关度，k_i是文档中第i个关键词的影响因子，根据关键词的不同权值设定。

8.一种根据权利要求1-6任一所述的基于Word2Vec的主题爬虫系统抓取信息的方法，其特征在于，具体步骤包括：

步骤1：通过种子配置模块上传种子链接，然后利用关键词模块进行关键词的交互与筛选，之后启动爬虫；

步骤2：通过下载模块下载待抓取的URL链接，下载后利用解析模块对网页内容进行解析，包括提取网页正文，全部链接，全部代码，网页类型；

步骤3：根据评分模块，利用解析的内容进行页面的主题相关度计算，并给出各个子链接的相关性评分预测；若网页主题相关，则利用存储模块进行存储，若无关则丢弃该页面，子链接统一进入待抓取URL队列。