[发明专利]一种基于网络爬虫的网站行政归属识别方法

摘要

本发明涉及一种基于网络爬虫的网站行政归属识别方法，初始化待处理网站队列，创建线程，根据待处理网站的URL，获取所述URL的一级域名URL并爬取首页、解析获取内容信息，查看内容信息是否包含归属地，若否则提取内容信息关键字和下级URL及其内容信息关键字分别存入第一关键字表和第二关键字表并匹配，包含ICP信息则获得当前域名所在省位置并句法分析出地市信息，若否则查找第一关键字表和第二关键字表中与地址相关的信息并句法分析，获得匹配度最高的共同地址，得到网站的归属地。本方法利用爬虫技术，对网站URL进行自动检测和比对，节省人工判定和处理时间，实时采集处理数据，提高数据有效性，检测效果好。

主权项

一种基于网络爬虫的网站行政归属识别方法，其特征在于：所述方法包括以下步骤：步骤1：初始化待处理网站队列，创建线程；步骤2：根据待处理网站的URL，获取所述URL的一级域名URL；步骤3：爬取所述一级域名URL的首页，解析获取首页的内容信息；步骤4：判断内容信息中是否包含归属地名称；若是，则该归属地名称为待处理网站的归属地，返回步骤2；若否，进行下一步；步骤5：采用命名实体识别工具，提取内容信息中的关键字，将关键字存入第一关键字表，并将当前URL标记为已抓取URL；将当前URL的内容中的二级URL放入待处理网站队列，爬取二级URL的二级页面，解析获取二级页面的内容信息，并将二级页面的内容信息中的关键字存入第二关键字表；步骤6：对第一关键字表和第二关键字表进行匹配；判断第一关键字表和第二关键字表中是否包含ICP信息，若有，根据ICP信息获得当前域名所在省位置，通过句法分析匹配出对应的地市信息，得到网站的归属地，返回步骤2；若否，进行下一步；步骤7：通过查找第一关键字表和第二关键字表中是否包括与地址相关的信息，对地址信息进行句法分析，匹配出匹配度最高的共同地址，得到网站的归属地，返回步骤2。