[发明专利]一种基于网络爬虫的多级页面的级联爬取方法和设备

说明书

本发明涉及一种基于网络爬虫的多级页面的级联爬取方法，包括如下步骤：抓取上级页面并将抓取到的数据存储在上级页面数据解析表中，在上级页面数据解析表中对需要继续抓取下级页面的对象设置主键值，各所述对象对应的主键值均不相同；抓取下级页面并将抓取到的数据存储在下级页面数据解析表中，并对该下级页面数据解析表设置外键值，从上级页面数据解析表中获取该下级页面对应的对象的主键值，然后将其作为所述下级页面数据解析表的外键值，从而实现抓取数据落地后上级网页和下级网页的关联查询。本发明是一种能够还原网页前后逻辑的数据采集模式，确保网页抓取的完整性且按原网页层级顺序存储数据，能够便捷地获取相关联的多层级页面数据。

技术领域

本发明涉及一种基于网络爬虫的多级页面的级联爬取方法和设备，属于数据爬取领域。

背景技术

现有的上下级页面爬取方法是：先抓取上级页面，然后存储上级页面中的URL地址，并根据这些URL地址重复多次抓取下级页面，最后通过爬虫任务标识和匹配落地的数据。爬虫任务标识是和抓取爬虫，以及爬虫所抓取的数据落地文件一一对应的；当爬虫任务结束需要匹配数据时，利用爬虫任务标识将爬取的数据文件按照原网页逻辑解析成结构化数据。因爬虫任务标识只能起到和爬虫任务一一对应的作用，任务标识间并不体现层级关系，因此，通过爬虫任务标识是无法还原原始数据层级的。如果存在多级页面之间存在关联，现有爬虫技术在抓取多级层次化数据时，由于各级之间关联逻辑较复杂，验证数据完整性和准确性存在较大困难。同时，由于数据存取难度更大，多级网页数据使用规则更为繁琐。

发明内容

为了解决上述技术问题，本发明提供一种基于网络爬虫的多级页面的级联爬取方法，提供一种能够还原网页前后逻辑的数据采集模式，确保网页抓取的完整性且按原网页层级顺序，以结构化的方式存储数据，从而能够便捷地获取相关联的多层级页面数据。

本发明技术方案如下：

一种基于网络爬虫的多级页面的级联爬取方法，包括如下步骤：抓取上级页面并将抓取到的数据存储在上级页面数据解析表中，在上级页面数据解析表中对需要继续抓取下级页面的对象设置主键值，各所述对象对应的主键值均不相同；抓取下级页面并将抓取到的数据存储在下级页面数据解析表中，并对该下级页面数据解析表设置外键值，从上级页面数据解析表中获取该下级页面对应的对象的主键值，然后将其作为所述下级页面数据解析表的外键值，从而实现抓取数据落地后上级网页和下级网页的关联查询。

更优地，爬取多级页面时，抓取到的每一级页面对应的数据解析表中，对需要继续抓取下级页面的对象设置主键值，并从各级页面对应的上一级页面的数据解析表中获取主键值，将该主键值作为本级页面的外键值；具体地：除第一级页面外的各层级页面均由上一级页面中的对象被点击后打开，根据页面与所述对象之间的一一对应关系，确定各层级页面对应的对象，根据确定的对象获取该对象对应的主键值。

更优地，所述主键值为所述对象的跳转URL和所述对象的跳转页面ID中的至少一种。

更优地，所述跳转URL包括如下形式：完整的下级页面的URL链接；片段下级页面的URL链接后缀；部分参数值；上述任意形式的跳转URL都具有唯一性，均可作为主键值。

更优地，爬虫在爬取下级页面前，先分析下级页面是否存在分页，若是，则抓取到的各分页的数据解析表的外键值相同且均为从上级页面数据解析表中获取到的该下级页面对应的对象的主键值。

本发明提供一种基于网络爬虫的多级页面的级联爬取设备。