[发明专利]一种基于用户激励机制的爬虫采集方法

说明书

本发明公开了一种基于用户激励机制的爬虫采集方法，它涉及爬虫采集技术领域。其步骤为：建立会员管理系统，为每个用户账号维护一个唯一的用户ID和数字证书；用户登陆后，从云端获得采集任务，通过定制的浏览器采集插件进行数据采集；用户将采集到的数据上传至云数据中心，每成功上传一条数据获得虚拟币奖励；云数据中心将采集到的内容存入Elasticsearch搜索服务器，以供数据利用。本发明大大提高信息采集的成功性和有效性，极大降低了传统大数据运营商的采集硬件投资成本，采集效率更高，效果更好，应用前景广阔。

技术领域

本发明涉及的是爬虫采集技术领域，具体涉及一种基于用户激励机制的爬虫采集方法。

背景技术

目前，对于使用爬虫采集数据的大数据应用系统，均是租用IDC机房，放置成百上千台服务器用于部署爬虫系统采集数据，存在以下问题：一方面投入成本巨大，另一方面由于代理IP质量良莠不齐，各大网站反爬措施严厉，采集成功率不高。为了解决上述问题，设计一种基于用户激励机制的爬虫采集方法尤为必要。

发明内容

针对现有技术上存在的不足，本发明目的是在于提供一种基于用户激励机制的爬虫采集方法，大大提高信息采集的成功性，极大降低了传统大数据运营商的采集硬件投资成本，采集效率更高，提高了数据采集有效性，效果更好，易于推广使用。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种基于用户激励机制的爬虫采集方法，包括以下步骤：

(1)建立会员管理系统，为每个用户账号维护一个唯一的用户ID和数字证书；

(2)用户登陆后，从云端获得采集任务，通过定制的浏览器采集插件进行数据采集；

(3)用户将采集到的数据上传至云数据中心，每成功上传一条数据获得一定数量的虚拟币奖励；

(4)云数据中心将采集到的内容存入Elasticsearch搜索服务器，以供数据利用。

作为优选，所述的步骤(1)中会员管理系统的建立包括对用户进行分类分级和用户画像，添加所在地区、常用IP地址、终端类型等多种属性和标签。

作为优选，所述的步骤(2)中用户使用基于Chromium内核定制的专用浏览器或谷歌、Firefox等浏览器登陆账号，启动爬虫插件，通过采集任务API获取采集任务，并通过解析规则API获取页面内容解析规则，即开始进行“挖矿”任务；爬虫插件根据终端资源使用情况，分配合适的计算和带宽资源用于“挖矿”，对终端日常使用影响不大。

作为优选，所述的步骤(3)中用户将爬虫插件采集到的数据通过云数据中心的API接口，将数据上传至云数据中心，云数据中心根据不同的数据类型，给用户数量不等的虚拟币进行奖励，虚拟币可以兑换礼品。

本发明的有益效果：本方法扩大采集范围，提升采集质量，大大提高信息采集的成功性和有效性，同时极大降低了传统大数据运营商的采集硬件投资成本，采集效率更高，效果更好，应用前景广阔。

附图说明

下面结合附图和具体实施方式来详细说明本发明；

图1为本发明实施例1的分布式采集流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

参照图1，本具体实施方式采用以下技术方案：一种基于用户激励机制的爬虫采集方法，包括以下步骤：