[发明专利]基于多通道代理的数据获取方法、系统及装置

摘要

本申请提供了一种基于多通道代理的数据获取方法、系统及装置，数据获取方法包括以下步骤：获取所需数据中的关键词；根据获取的关键词调用分布式爬虫框架；所述分布式爬虫框架中设置有多个爬虫节点；改变所述爬虫节点的IP；接收不同IP的爬虫节点爬取的网页数据；对接收到的网页数据进行数据抽取、转换、装载处理，得到有效数据；对有效数据进行存储。本申请通过分布式爬虫框架中的多个爬虫节点形成多通道代理，通过在每次爬取信息前改变分布式爬虫框架中爬虫节点的IP，能够绕过数据提供网站的反爬虫检测手段，用爬虫节点达到多通道代理、发现情报以及清洗、转换等操作，保证数据的精准可靠。