[发明专利]面向广告投放的主从分布内容爬取机器人

摘要

本发明根据面向广告投放实际抓取要求设计并实现了基于Redis的分布式内容爬取机器人，通过分布式网络部署方式进行抓取与存储，一是根据广告投放训练集与测试集分类采集的要求，提出多线程分布式网络内容爬取机器人，设计基于标签的多站点分类采集规则，基于多任务并发调度策略实现任务速率可控、均衡分配的调度核心、多线程池化并发抓取，实现自动化Web规则配置与系统状态监测；二是提出分布式内容爬取机器人部署方案，并进行集成测试与抓取结果评估。本发明设计的分布式架构可以大幅提高内容爬取机器人的效率，并对特定数据进行有效存储，能够满足广告投放的实际需求，具有重要的现实意义和巨大的运用价值。