[发明专利]一种基于网络爬虫的网站行政归属识别方法

权利要求书

1.一种基于网络爬虫的网站行政归属识别方法，其特征在于：所述方法包括以下步骤：

步骤1：初始化待处理网站队列，创建线程；

步骤2：根据待处理网站的URL，获取所述URL的一级域名URL；

步骤3：爬取所述一级域名URL的首页，解析获取首页的内容信息；

步骤4：判断内容信息中是否包含归属地名称；若是，则该归属地名称为待处理网站的归属地，返回步骤2；若否，进行下一步；

步骤5：采用命名实体识别工具，提取内容信息中的关键字，将关键字存入第一关键字表，并将当前URL标记为已抓取URL；将当前URL的内容中的二级URL放入待处理网站队列，爬取二级URL的二级页面，解析获取二级页面的内容信息，并将二级页面的内容信息中的关键字存入第二关键字表；

步骤6：对第一关键字表和第二关键字表进行匹配；判断第一关键字表和第二关键字表中是否包含ICP信息，若有，根据ICP信息获得当前域名所在省位置，通过句法分析匹配出对应的地市信息，得到网站的归属地，返回步骤2；若否，进行下一步；

步骤7：通过查找第一关键字表和第二关键字表中是否包括与地址相关的信息，对地址信息进行句法分析，匹配出匹配度最高的共同地址，得到网站的归属地，返回步骤2。

2.根据权利要求1所述的一种基于网络爬虫的网站行政归属识别方法，其特征在于：所述步骤2中，若爬取过程中网页内容包含反爬信息，则将URL放回待处理网站队列中，并进行反爬处理。

3.根据权利要求2所述的一种基于网络爬虫的网站行政归属识别方法，其特征在于：所述反爬处理包括切换IP和降低请求速率。

4.根据权利要求1所述的一种基于网络爬虫的网站行政归属识别方法，其特征在于：所述步骤3中，首页的内容信息包括人名、地名、机构名、邮编和传真电话。

5.根据权利要求1所述的一种基于网络爬虫的网站行政归属识别方法，其特征在于：所述步骤6中，ICP信息包括单位名称、网站ICP许可证号、网站名称和网站首页。