[发明专利]基于xpath的数据采集方法、电子设备及存储介质

说明书

本发明公开了一种基于xpath的数据采集方法、系统、电子设备及存储介质，该方法对列表页点击元素的xpath路径进行合并，提取共同路径，得到列表页合并路径；根据列表页合并路径得到与该合并路径具有相同路径的列表，生成列表页链接集合；进入一个链接所对应的详情页中，根据详情页的页面采集对象确定采集模式，包括分组采集和不分组采集模式；根据详情页点击元素的xpath路径通过文本提取的方式进行文本信息的提取，得到详情页点击元素所对应的文本信息；根据详情页点击元素xpath路径和所对应的文本信息自动生成采集代码，分别进入列表页链接集合中的每一个链接进行数据采集，这样便完成了列表页中所有链接的数据采集，无需人工编写采集代码，实现了自动采集数据。

技术领域

本发明涉及数据采集技术领域，具体涉及到一种基于xpath的数据采集方法、系统、电子设备及存储介质。

背景技术

网页数据采集一般是依靠技术人员根据客户的采集需求，分析网页的组成结构，使用firebug或者浏览器自带xpath提取工具，或者分析dom结构等来定位采集对象元素，然后依据一定的采集框架，编写对应的采集程序，爬虫代码无法自动编程及调用。

发明内容

有鉴于此，本发明实施例提供了一种基于xpath的数据采集方法、系统、电子设备及存储介质，以解决现有技术中浏览器爬虫代码无法自动编程及调用的问题。

为此，本发明实施例提供了如下技术方案：

根据第一方面，本发明实施例提供了一种基于xpath的数据采集方法，包括：接收列表页中的至少两个列表页点击事件，得到与所述列表页点击事件相对应的列表页点击元素的xpath路径；对所述列表页点击元素的xpath路径进行合并，得到列表页合并路径，所述列表页合并路径是从父级节点向下直至第一个元素名相同且位置不同的叶子节点，并去掉所述叶子节点的位置信息后得到的xpath路径；在所述列表页中查找与所述列表页合并路径具有相同路径的列表，生成列表页链接集合；进入所述列表页链接集合中的任意一个链接，打开相应的详情页，根据所述详情页的页面采集对象确定采集模式，其中，所述采集模式是预先设定的，包括分组采集和不分组采集；若所述采集模式为不分组模式，则所述详情页为详细页面，接收详情页点击元素的xpath路径；根据详情页点击元素的xpath路径，通过文本提取的方式提取详情页点击元素所对应的文本信息；根据所述详情页点击元素xpath路径和所对应的文本信息对所述列表页链接集合中的每一个链接分别进行数据采集。

可选地，还包括：若所述采集模式为分组模式，则所述详情页包含多个详情页分组节点，接收详情页分组节点点击元素的xpath路径；根据详情页分组节点点击元素的xpath路径，得到详情页分组节点中与详情页分组节点点击元素相似的所有元素的xpath路径，生成详情页分组节点集合；对详情页分组节点集合中任意一个详情页分组节点中的点击元素的xpath路径进行分组合并，得到详情页分组节点xpath路径，所述详情页分组节点xpath路径包含用于定位详情页分组节点的分组标记，所述分组标记位于组内点击元素的父节点元素所在位置的后面且紧邻所述父节点元素；进入详情页分组节点集合中任意一个节点，打开相应的详情页分组节点，接收详情页点击元素的xpath路径；根据详情页点击元素的xpath路径，通过文本提取的方式提取所述详情页点击元素所对应的文本信息；根据所述详情页点击元素的xpath路径和所对应的文本信息对所述详情页分组节点集合中每一个详情页分组节点分别进行数据分组采集；根据详情页分组节点点击元素的xpath路径，对所述列表页链接集合中的每一个链接分别进行数据采集。

可选地，对所述列表页点击元素的xpath路径进行合并的步骤中，包括：对列表页点击元素的xpath路径的各级节点的节点类型进行逐一比较；若节点类型比较结果不一致，则终止合并；若节点类型比较结果一致，则对各级节点的节点名进行逐一比较；若节点名比较结果一致，则终止合并；若节点名比较结果不一致，则从父级节点向下查找到第一个元素名相同且位置不同的叶子节点，去掉所述叶子节点的位置信息，得到列表页合并路径。