[发明专利]用于抓取网络商城中网页的爬虫算法

说明书

技术领域

本发明涉及网页搜索技术领域，特别是一种用于抓取网络商城中网页的爬虫算法。

背景技术

网络商城是以互联网为运营载体，依托互联网资源，利用电子商务的各种手段，达成从买到卖的过程的虚拟商店，从而减少中间环节，消除运输成本和代理中间的差价，造就对普通消费和加大市场流通带来巨大的发展空间。

网络商城24小时都可以进行商品的浏览与购买，工作时间可以随时与客服进行交流，解决购物中遇到的困难；其信息量大，能够让顾客更多的了解，增加了选择的空间；其客户无限，全球的任何人都可以通过Internet访问，不受空间限制；其服务优质，不但可以完成普通商店可以进行的所有交易，同时它还可以通过多媒体技术为用户提供更加全面的商品信息；其成本低廉，由于省去了店面费用，所以总体的成本降低很多，所以表现在消费品上的价格也会相对传统店面便宜很多。同时因为是大批量取货后分销的形式，所以价格优势比较明显。

网络商城虽然有其优势的地方，但是也有其劣势。网上商店对货物的描述很具有迷惑性，主要在于顾客无法直接看到和触摸到商品，全凭店主的描述来购物。顾客无法判断货物是否从正规渠道而来，或者是否为正品。若为仿制品，消费者的维权之路往往很漫长。网上商店对卖家的审核往往有很大的局限性，也会导致假冒伪劣产品泛滥。长期下来会引发大量对网上商店的负面评论，影响网上商店的长远发展。

发明内容

本发明的目的在于提供一种用于抓取网络商城中网页的爬虫算法，该算法有利于对网络商城中与主题相关的网页进行精确抓取，而且算法设计合理，运行效果好。

为实现上述目的，本发明的技术方案是：一种用于抓取网络商城中网页的爬虫算法，包括以下步骤：

步骤1：设置抓取的宽度、深度以及总数，所述宽度表示不相关页面链接允许访问的数目，所述深度表示还可以沿着链接继续往前访问的深度，所述总数表示访问网页总数上限值S；输入初始链接；

步骤2：建立url队列，所述url队列用于存储要爬取的初始链接，将url种子集添加到所述url队列中；可以把若干网上商城的域名作为url的入口，得到所述url种子集；

步骤3：若访问页面数小于访问网页总数上限值S，或者url队列的长度不为零，即url队列不为空，则根据所述初始链接下载对应的页面，否则结束；

步骤4：抽取被新爬取到的链接到list队列中，并计算页面与主题的相关度，然后保存下载到的页面；所述list队列用于存储爬取到的链接； 

步骤5：判断页面的深度，若页面的深度大于零，则执行步骤6，否则返回步骤3；

步骤6：判断页面是否与主题相关，若与主题相关，则增加所述页面前向链接的链接值，否则降低所述页面前向链接的链接值；

步骤7：判断url是否在list队列中，若在list队列中，则执行步骤8，否则返回到步骤3；

步骤8：判断url是否在url队列中，若在url队列中，比较url队列的相关系数和list队列的相关系数的大小，两者中较大的取代url队列中的相关系数；否则按照相关系数的大小插入到url队列中；

步骤9：若当前页面相关，则深度为depth(page)，否则深度为depth(page)-1，depth(page)指当前页面的深度；

步骤10：从list队列中取出下一条url，然后从步骤7开始执行；

步骤11：算法结束，输出主题相关网页。

本发明的有益效果是能够根据输入的网络商城初始链接，在网络商城中对与主题相关的网页进行搜索、判断，进而实现对主题相关网页的精确抓取。此外，该算法程序设计合理，使用效果好，可广泛应用于各种网络商城的网页抓取。

下面结合附图及具体实施例对本发明作进一步的详细说明。

附图说明

图1是本发明实施例的工作流程图。

具体实施方式

本发明用于抓取网络商城中网页的爬虫算法，如图1所示，包括以下步骤：

步骤1：设置抓取的宽度、深度以及总数，所述宽度表示不相关页面链接允许访问的数目，所述深度表示还可以沿着链接继续往前访问的深度，所述总数表示访问网页总数上限值S；输入初始链接；

步骤2：建立url队列，所述url队列用于存储要爬取的初始链接，将url种子集添加到所述url队列中；可以把若干网上商城的域名作为url的入口，得到所述url种子集；