[发明专利]一种高效的数据采集方法

说明书

技术领域

本发明涉及分布式数据采集领域，特别是一种高效的数据采集的方法。

背景技术

大数据时代，随着接入网络的设备越来越多，数据采集面临的压力越来越大。某些行业，例如广告业，面临着比过去更大的用户群，导致数据量几十上百倍的增长。

以往的数据采集方法在面对如此大数据量时，大多是通过单纯增加采集机器来应对，而且当机器达到一定数量的时候，再增加机器并不会提高采集能力。并且由于用户数量增加，并发数也会增加，分布式的采集可以大大提高系统的并发数。

发明内容

为了克服以往的采集系统在面对来自全国各地的流量时的网络问题和并发问题，本发明的发明人提供了一种利用Nginx作为采集容器的高效数据采集方法，既可以使得用户快速得到返回，又加快了采集到的信息落地。

根据本发明的第一方面，本发明提供一种高效数据采集方法，其包括：

S110接收用户请求；

S120对所述用户请求的各字段进行合法性校验；

S130根据所述用户请求的各字段计算出随机子域名，并进行子域名校验；

S140采集通过校验的用户请求，根据预先设定的规则进行跳转；

S150检验跳转链接的安全性和跳转到抵达网页的完成状态；

S160存储所述跳转网页链接、抵达网页链接以及加载完成的信息状态，结果写入Nginx日志中。

优选地，对于无法通过校验的用户请求，返回1*1像素gif格式图片。

优选地，所述进行合法性校验的字段包括项目号、广告位、媒体号、创意号、关键字、广告主、IP地址、IDFA、IMEI、AndroidID、OpenUDID中的一种或多种。

优选地，所述用于计算随机子域名的字段包括项目号、广告位、媒体号、创意号、广告主、采集类型中的一种或多种。

优选地，根据广告主、项目号、广告位、媒体号、创意、关键字中一种或多种预先设定跳转规则中。

在本发明的一些实施方式中，接收到用户请求后，DNS解析服务器选择距离用户最近的LVS服务器作为当前LVS服务器，并向其发送所述用户请求。

优选地，所述LVS服务器将所述用户请求发送给Nginx服务器，由所述Nginx服务器处理数据采集的各项步骤。

优选地，根据来源地址的运营商，分配相同运营商里速度最快延迟最小的LVS服务器。

更优选地，对于视频网站的数据，分配到与视频网站同机房的LVS服务器。

在本发明的一些实施方式中，将所有相关信息缓存在程序内部上。因此不会引发额外的请求，提高了处理速度。

LVS的负载均衡方式包括VS/NAT、VS/TUN、和VS/DR中任一。从节省资源的角度考虑，优选VS/DR。VS/NAT、VS/TUN由于是双向的连接，会导致LVS机器网络负载系统负载等特别大。

LVS负载调度算法包括：

最少的连接方式(Least Connection)：传递新的连接给那些进行最少连接处理的服务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配,直到其恢复正常。

最快模式(Fastest)：传递连接给那些响应最快的服务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。

观察模式(Observed)：连接数目和响应时间以这两项的最佳平衡为依据为新的请求选择服务器。当其中某个服务器发生第二到第7层的故障，BIG-IP就把其从服务器队列中拿出，不参加下一次的用户请求的分配，直到其恢复正常。

预测模式(Predictive)：BIG-IP利用收集到的服务器当前的性能指标，进行预测分析，选择一台服务器在下一个时间片内，其性能将达到最佳的服务器相应用户的请求。(被BIG-IP进行检测)

动态性能分配(Dynamic Ratio-APM):BIG-IP收集到的应用程序和应用服务器的各项性能参数，动态调整流量分配。

动态服务器补充(Dynamic Server Act.):当主服务器群中因故障导致数量减少时，动态地将备份服务器补充至主服务器群。

服务质量(QoS):按不同的优先级对数据流进行分配。

服务类型(ToS):按不同的服务类型(在Type of Field中标识)负载均衡对数据流进行分配。