[发明专利]基于大数据的网络数据抓取方法

说明书

本发明提供了一种基于大数据的网络数据抓取方法，包括将监听终端配置为代理服务器；目标APP通过所述代理服务器向目标服务器发送通信数据；所述代理服务器模拟所述目标APP向所述目标服务器发送通信数据；所述代理服务器根据大数据分析获得目标字段；配置抓取规则，所述代理服务器根据所述目标字段抓取所述目标服务器发送的数据。本发明通过将监听终端配置为代理服务器，代理服务器模拟所述目标APP向所述目标服务器发送通信数据，在通过大数据分析或者目标字段之后，配置抓取规则，所述代理服务器根据所述目标字段抓取所述目标服务器发送的数据。从而能够自动抓取网络新闻热点，无需人工进行配置，高效化、智能化。

技术领域

本发明涉及数据抓取技术领域，具体的说是一种基于大数据的网络数据抓取方法。

背景技术

目前，随着移动互联网的迅速发展，移动终端APP(Application，应用程序)成为了人们上网的主战场，因此针对移动终端APP的数据的抓取需求更大，例如新浪APP、腾讯新闻APP、百度APP、今日头条APP等新闻类的APP里面的数据抓取。

目前，针对数据抓取的框架主要有WebCollector、Nutch、PySpider、WebMagic等。现有的抓取方法是直接由网页的URL作为入口地址。

但是，发明人发现，移动终端APP与服务器进行通信时，由于请求通信数据包中通常会包含很多参数签名，如果无法获知这些参数的签名算法，爬虫常常因为无法获知这些参数的签名算法，而导致无法模拟移动终端APP与服务器进行通信的请求，也就无法抓取到移动APP中的数据内容。另外，目前的移动终端APP常常会根据当前的新闻热点向用户进行推送，而目前缺乏针对新闻热点进行自动抓取的方法，常常需要人工配置抓取规则，显得不够智能。

发明内容

根据以上现有技术的不足，本发明提出了基于大数据的网络数据抓取方法，致力于解决前述背景技术中的技术问题之一。

本发明解决其技术问题采用以下技术方案来实现：

基于大数据的网络数据抓取方法，包括

将监听终端配置为代理服务器；

目标APP通过所述代理服务器向目标服务器发送通信数据；

所述代理服务器模拟所述目标APP向所述目标服务器发送通信数据；

所述代理服务器根据大数据分析获得目标字段；

配置抓取规则，所述代理服务器根据所述目标字段抓取所述目标服务器发送的数据。

作为一种可选的实施方式，所述代理服务器模拟所述目标APP向所述目标服务器发送通信数据，包括

所述代理服务器重复N次抓取所述目标APP向所述目标服务器发送的通信数据，其中，N为大于等于2的正整数；

对每次抓取的所述通信数据进行比对，获得所述通信数据中的恒定参数和变量参数；

反编译工具对所述目标APP进行反编译，获得所述目标APP的源码；

以变量参数为作为关键词，在所述源码中查找包含所述关键词的函数，将所述函数定义为候选函数；

反编译工具对所述源码进行动态调试，当某一候选函数的输出等于所述变量参数的值，则该候选函数为目标函数；

根据所述目标函数的明文和加密方式，获得变量参数的构造方法；

根据所述恒定参数和所述变量参数的构造方法，所述代理服务器模拟所述目标APP向所述目标服务器发送通信数据。

作为一种可选的实施方式，所述反编译工具为Android代码编译器。