[发明专利]网络内容爬取方法、电子设备和存储介质

说明书

本申请提供网络内容爬取方法、电子设备和存储介质。网络爬虫包括主爬虫、任务分发平台和用于处理不同任务类型的多个子爬虫，该方法包括：主爬虫向任务分发平台发送网络内容爬取任务的目标任务类型，其中，所述目标任务类型根据所述网络内容爬取任务的任务处理请求中所携带的任务信息确定；任务分发平台根据所述目标任务类型，将所述网络内容爬取任务分配至对应的子爬虫进行处理。由于在该网络内容的爬取过程中，对网络内容爬取任务划分了任务类型，并利用对应的子爬虫进行处理，因此在大规模的网络内容爬取过程中，能够降低阻塞的可能性。

技术领域

本申请涉及互联网技术领域，具体而言，涉及网络内容爬取方法、电子设备和存储介质。

背景技术

随着科学技术的不断发展，通常需要利用网络爬虫，从网络中进行内容的爬取。然而，目前的网络爬虫在大规模的网络内容爬取过程中，容易出现阻塞的现象。

发明内容

本申请实施例的目的在于提供网络内容爬取方法、电子设备和存储介质，用于解决现有技术中的问题。

本申请实施例第一方面提供了一种网络内容爬取方法，其特征在于，网络爬虫包括主爬虫、任务分发平台和用于处理不同任务类型的多个子爬虫，包括：

主爬虫向任务分发平台发送网络内容爬取任务的目标任务类型，其中，所述目标任务类型根据所述网络内容爬取任务的任务处理请求中所携带的任务信息确定；

任务分发平台根据所述目标任务类型，将所述网络内容爬取任务分配至对应的子爬虫进行处理。

于一实施例中，所述网络爬虫还包括资源调度平台；以及，所述方法还包括：

所述资源调度平台获取各个子爬虫中不同类型资源的已使用信息；

所述资源调度平台根据各个子爬虫中不同类型资源的已使用信息，确定各个子爬虫用于处理的任务类型。

于一实施例中，资源的类型包括CPU资源、内存资源、磁盘资源、网络带宽资源和物理地址资源；以及，

任务类型包括CPU资源密集型任务、内存资源密集型任务、磁盘资源密集型任务、网络带宽资源密集型任务和物理地址资源密集型任务。

于一实施例中，所述资源调度平台获取各个子爬虫中不同类型资源的已使用信息，具体包括：

所述资源调度平台获取各个子爬虫周期性上报的，不同类型资源的已使用信息。

于一实施例中，所述方法还包括：

主爬虫获取所述网络内容爬取任务的任务处理请求，所述任务处理请求中携带有所述任务信息。

于一实施例中，任务处理请求由用户在终端所展示的页面所输入；或，

任务处理请求通过定时任务的触发所生成。

于一实施例中，主爬虫向任务分发平台发送网络内容爬取任务的目标任务类型，具体包括：

主爬虫通过消息队列总线，向任务分发平台发送网络内容爬取任务的目标任务类型。

于一实施例中，所述主爬虫具体包括：基于Node.js架构的主爬虫。

本申请实施例第二方面提供了一种保险理赔案件的风险实体识别装置，包括：

本申请实施例第二方面提供了一种电子设备，包括：

存储器，用以存储计算机程序；

处理器，用以执行本申请方法实施例中任一项所述的方法。

本申请实施例第三方面提供了一种存储介质，包括：程序，当其在电子设备上运行时，使得电子设备可执行本申请方法实施例中任一项所述的方法。