[发明专利]一种高效的数据采集方法

权利要求书

1.一种高效数据采集方法，其包括：

S110接收用户请求；

S120对所述用户请求的各字段进行合法性校验；

S130根据所述用户请求的各字段计算出随机子域名，并进行子域名校验；

S140采集通过校验的用户请求，根据预先设定的规则进行跳转；

S150检验跳转链接的安全性和跳转到抵达网页的完成状态；和

S160存储所述跳转网页链接、抵达网页链接以及加载完成的信息状态，结果写入Nginx日志中。

2.根据权利要求1所述的方法，其中对于无法通过校验的用户请求，返回1*1像素gif格式图片。

3.根据权利要求1所述的方法，其中所述进行合法性校验的字段包括项目号、广告位、媒体号、创意号、关键字、广告主、IP地址、IDFA、IMEI、AndroidID、OpenUDID中的一种或多种。

4.根据权利要求1所述的方法，其中所述用于计算随机子域名的字段包括项目号、广告位、媒体号、创意号、广告主、采集类型中的一种或多种。

5.根据权利要求1所述的方法，其中根据广告主、项目号、广告位、媒体号、创意、关键字中一种或多种预先设定跳转规则。

6.根据权利要求1所述的方法，其中接收到用户请求后，DNS解析服务器选择距离用户最近的LVS服务器作为当前LVS服务器，并向其发送所述用户请求。

7.根据权利要求6所述的方法，其中所述LVS服务器的负载均衡方式为VS/DR。

8.根据权利要求6所述的方法，其中所述LVS服务器将所述用户请求发送给Nginx服务器，由所述Nginx服务器处理数据采集的各项步骤。

9.根据权利要求6所述的方法，其中根据来源地址的运营商，分配相同运营商里速度最快延迟最小的LVS服务器。

10.根据权利要求9所述的方法，其中对于视频网站的数据，分配到与视频网站同机房的LVS服务器。