[发明专利]网页数据爬取方法、装置及存储介质

摘要

本发明提供一种网页数据爬取方法，该方法根据接收的网页数据爬取请求读取第一URL列表，根据预先构建的docker镜像生成多个应用容器，将读取的所述第一URL列表划分为多个第二URL列表，并分别爬取所述多个第二URL列表中每条URL对应的网页数据，之后，该方法提取所述网页数据，并将所述网页数据发送至所述网页数据爬取请求对应的用户终端。本发明还提供一种电子装置及计算机存储介质。利用本发明，可以提高网页数据爬取效率。

主权项

1.一种网页数据爬取方法，应用于电子装置，其特征在于，所述方法包括：S1、接收网页数据爬取请求，根据该网页数据爬取请求获取第一URL(Uniform Resource Location，统一资源定位符)列表，该第一URL列表中包括待爬取的URL，将该第一URL列表存储至预设的配置文件所在的第一预设存储路径中；S2、从第二预设存储路径中读取预先构建的docker镜像，并根据所述docker镜像生成多个应用容器，其中，应用容器包括：第一应用容器、第二应用容器、第三应用容器；S3、从所述第一预设存储路径中读取第一URL列表及配置文件，基于所述第一应用容器将所述第一URL列表划分为多个第二URL列表，将所述多个第二URL列表存储至第三预设存储路径中；S4、基于所述多个第二应用容器分别爬取所述多个第二URL列表中每条URL对应的网页数据，并将该网页数据保存至第四预设存储路径中；及S5、基于所述第三应用容器从第四预设存储路径中提取所述网页数据，并将所述网页数据发送至所述网页数据爬取请求对应的用户终端。