[发明专利]一种基于网络爬虫的多级页面的级联爬取方法和设备

权利要求书

1.一种基于网络爬虫的多级页面的级联爬取方法，其特征在于，包括如下步骤：

抓取上级页面数据，并将抓取到的数据存储在上级页面数据解析表中，在上级页面数据解析表中对需要继续抓取下级页面的对象设置主键值，所述主键值具有唯一性，通过该主键值标识对象所在的上级页面并通过该主键值关联下级页面；

点击上级页面的URL链接，通过爬虫模拟访问下级页面，抓取下级页面数据并将抓取到的数据存储在下级页面数据解析表中，并对该下级页面数据解析表设置用于关联上级页面的外键值，具体地，从上级页面数据解析表中获取该下级页面对应的对象的主键值，然后将其作为所述下级页面数据解析表的外键值，由于主键值和外键值保持一致，根据主键值和外键值确定层级关系，从而明确抓取数据落地后上级网页和下级网页的层级关联。

2.根据权利要求1所述的一种基于网络爬虫的多级页面的级联爬取方法，其特征在于：爬取多级页面时，抓取到的每一级页面对应的数据解析表中，对需要继续抓取下级页面的对象设置主键值，并从各级页面对应的上一级页面的数据解析表中获取主键值，将该主键值作为本级页面的外键值；具体地：除第一级页面外的各层级页面均由上一级页面中的对象被点击后打开，根据页面与所述对象之间的一一对应关系，确定各层级页面对应的对象，根据确定的对象获取该对象对应的主键值。

3.根据权利要求1所述的一种基于网络爬虫的多级页面的级联爬取方法，其特征在于：所述主键值为所述对象的跳转URL和所述对象的跳转页面ID中的至少一种。

4.根据权利要求3所述的一种基于网络爬虫的多级页面的级联爬取方法，其特征在于：所述跳转URL包括如下形式：完整的下级页面的URL链接；片段下级页面的URL链接后缀；部分参数值；上述任意形式的跳转URL都具有唯一性，均可作为主键值。

5.根据权利要求1所述的一种基于网络爬虫的多级页面的级联爬取方法，其特征在于：爬虫在爬取下级页面前，先分析下级页面是否存在分页，若是，则抓取到的各分页的数据解析表的外键值相同且该外键值为从上级页面数据解析表中获取到的该下级页面对应的对象的主键值。

6.一种基于网络爬虫的多级页面的级联爬取设备，其特征在于：所述设备包括微处理器和存储器，所述存储器上存储有程序，所述微处理器运行该程序并执行如下步骤：

抓取上级页面数据，并将抓取到的数据存储在上级页面数据解析表中，在上级页面数据解析表中对需要继续抓取下级页面的对象设置主键值，所述主键值具有唯一性，通过该主键值标识对象所在的上级页面并通过该主键值关联下级页面；

点击上级页面的URL链接，通过爬虫模拟访问下级页面，抓取下级页面数据并将抓取到的数据存储在下级页面数据解析表中，并对该下级页面数据解析表设置用于关联上级页面的外键值，具体地，从上级页面数据解析表中获取该下级页面对应的对象的主键值，然后将其作为所述下级页面数据解析表的外键值，由于主键值和外键值保持一致，根据主键值和外键值确定层级关系，从而明确抓取数据落地后上级网页和下级网页的层级关联。

7.根据权利要求6所述的一种基于网络爬虫的多级页面的级联爬取设备，其特征在于：爬取多级页面时，抓取到的每一级页面对应的数据解析表中，对需要继续抓取下级页面的对象设置主键值，并从各级页面对应的上一级页面的数据解析表中获取主键值，将该主键值作为本级页面的外键值；具体地：除第一级页面外的各层级页面均由上一级页面中的对象被点击后打开，根据页面与所述对象之间的一一对应关系，确定各层级页面对应的对象，根据确定的对象获取该对象对应的主键值。

8.根据权利要求6所述的一种基于网络爬虫的多级页面的级联爬取设备，其特征在于：所述主键值为所述对象的跳转URL和所述对象的跳转页面ID中的至少一种。

9.根据权利要求8所述的一种基于网络爬虫的多级页面的级联爬取设备，其特征在于：所述跳转URL包括如下形式：完整的下级页面的URL链接；片段下级页面的URL链接后缀；部分参数值；上述任意形式的跳转URL都具有唯一性，均能作为主键值。

10.根据权利要求6所述的一种基于网络爬虫的多级页面的级联爬取设备，其特征在于：爬虫在爬取下级页面前，先分析下级页面是否存在分页，若是，则抓取到的各分页的数据解析表的外键值相同且均为从上级页面数据解析表中获取到的该下级页面对应的对象的主键值。