[发明专利]一种分布式网络爬虫的URL去重方法及其系统

权利要求书

1.一种分布式网络爬虫的URL去重方法，其特征在于，包括如下步骤：

步骤S01：获取待抓取网页的URL；

步骤S02：将获取的URL进行16位MD5压缩处理；

步骤S03：将生成的密文切割成16位数组；

步骤S04：根据磁盘符号查找方式将密文生成数组的转换为相应路径；

步骤S05：判断linkurl中是否存在相应的URL；

若不存在，则URL存储至资源库；

若存在，则删除该URL；

步骤S06：对资源库中的URL进行解密并动态插入改进广义表；

步骤S07：从动态广义表根节点出发，遍历待去重的URL每个字母；

步骤S08：依次判断每个字母对应的节点是否存在；

若存在，则将该条URL去重；

若不存在，则将该条URL存储至待抓取队列。

2.根据权利要求1所述的一种分布式网络爬虫的URL去重方法，其特征在于，所述步骤S02中，对URL加密完成后以树的形式进行存储。

3.根据权利要求1所述的一种分布式网络爬虫的URL去重方法，其特征在于，所述步骤S03中，密文切割成16位的数组a后，将数据a[0]的值与根节点下指向的节点值进行比较；若存在，则将找到的节点r[1]指向的下一个节点与a[1]相比较，依次比较直至a[15]比较结束。

4.根据权利要求1所述的一种分布式网络爬虫的URL去重方法，其特征在于，所述步骤S07中，广义表中每个节点存储一个字母，遍历URL每个字母时，若某一字母对应的广义表节点不存在，则需先创建该节点对应层上的root节点和该字母的对应节点后，返回继续遍历。

5.如权利要求1-4任意一所述的一种分布式网络爬虫的URL去重系统，包括处理器和存储器，其特征在于：

所述处理器依次与搜索模块、加密模块、转换模块、解密模块、插入模块、去重模块以及存储器电性连接；

所述搜索模块，用于依次读取一条待处理网页的地址并传递至加密模块；

所述加密模块，用于对获取的URL并对URL进行MD5压缩加密处理；

所述转换模块，用以根据磁盘符号将加密后生成的密文数组转换成相应路径；

所述解密模块，用于对初步去重的URL进行解密处理；

所述插入模块，用于将解密完成的URL插入广义表中；

所述去重模块，用于根据广义表根节点遍历URL每个字母进行二次去重。