[发明专利]一种基于http协议的数据爬取方法及装置

摘要

本发明提供一种基于http协议的数据爬取方法及装置，该方法包括：获取待爬取页面的超文本标记语言，对超文本标记语言进行解析，获取待爬取页面的网页元素和JavaScript方法；将获取到的网页元素的相关数据存储到对应的网页元素记录表中，并将JavaScript方法的相关数据存储到对应的JavaScript方法记录表中；生成获取网页元素对应的响应数据的第一请求，模拟发送第一请求，并在接收到响应数据时将第一请求的相关数据存储至对应的请求记录表中；根据网页元素记录表、JavaScript方法记录表和请求记录表，生成关联记录表。将网页元素、js方法以及各个键进行关联，以便在网页发生变化时，根据关联关系还能够正常爬取到数据，不需要在对爬虫改动代码或者代码改动极小，以完成爬取动作。