[发明专利]面向移动应用APP的数据采集系统

说明书

本发明公开了一种面向移动应用APP的数据采集系统，包括APP任务分发模块、APP自动运行模块、快照分析模块、快照重组模块和消息队列模块；APP任务分发模块获取安装包情况、形成分析任务并上传；APP自动运行模块获取分析结果和任务、实现APP的自动运行和屏幕快照采集并上传；快照分析模块分析采集数据并上传；快照重组模块重组分析结果并上传和保存；消息队列模块用于模块之间的数据交互。本发明能够高效率并行地进行移动APP数据的自动采集，而且实现了对APP的有序操作，并进行APP页面截取与OCR识别，实现对移动应用APP数据的自动采集，可靠性高，实用性好。

技术领域

本发明属于数据采集领域，具体涉及一种面向移动应用APP的数据采集系统。

背景技术

随着经济技术的发展和人们生活水平的提高，移动智能终端已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。

而随着移动智能终端的广泛普及，移动智能终端所承载的数据也愈发具有价值。由于移动应用APP的广泛使用，其中所承展现的信息的形式和数据信息的数量在不断的发展，数据也越来越能体现人们的爱好、行为、兴趣等方方面面。对APP数据进行分析，开展数据挖掘具有极大的意义。

正因如此，对于移动应用APP的数据采集就显得尤为重要。由于移动智能终端APP数量不断增长，信息数据不断的更新，人工手动采集无法满足数据分析的需要。目前数据采集主要方法是网络爬虫抓取，可以抓取网页等基于B/S架构开发应用的数据。目前虽然网络爬虫等方法可以用于APP数据的采集，但是随着信息安全的不断普及，越来越多的移动应用APP研发厂商针对爬虫采取了一系列反爬措施，防止移动APP的数据被网络爬虫采集，因此APP数据网络爬虫方法的使用方法逐渐在缩小，越来越多的移动应用APP无法通过实施网络爬虫实现对数据的有效采集。

发明内容

本发明的目的在于提供一种能够实现移动应用APP数据的自动有效采集，。而且可靠性高、实用性好的一种面向移动应用APP的数据采集系统。

本发明提供的这种一种面向移动应用APP的数据采集系统，包括APP任务分发模块、APP自动运行模块、快照分析模块、快照重组模块和消息队列模块；APP任务分发模块、APP自动运行模块、快照分析模块和快照重组模块均与消息队列模块连接；APP任务分发模块用于获取APP安装包的写入情况，当存在未采集的APP安装包时，把APP安装包的文件路径字符串作为分析任务，并将分析任务上传消息队列模块；APP自动运行模块用于从消息队列模块中获取APP任务分发模块上传的分析任务，把APP安装包安装至移动设备模拟器中，通过程序自动控制APP动作，实现APP的自动运行和屏幕快照的有序采集，并将采集快照数据上传消息队列模块；快照分析模块用于从消息队列模块中获取APP自动运行模块上传的快照数据，并对快照数据进行分析，并将分析结果上传消息队列模块；快照重组模块用于从消息队列模块中获取快照分析模块上传的分析结果，并对分析结果进行有序重组，并将重组数据上传消息队列模块，同时将重组数据进行保存；消息队列模块用于APP任务分发模块、APP自动运行模块、快照分析模块和快照重组模块之间的数据交互和通信。

所述的APP任务分发模块用于获取APP安装包的写入情况，当存在未采集的APP安装包时，把APP安装包的文件路径字符串作为分析任务，并将分析任务上传消息队列模块，具体为监测APP安装包的提交情况：当存在未采集的APP安装包时，将该APP安装包移动到APP分析完成目录下，并将本机IP字符串和APK文件路径字符串拼接成文件路径并作为APP分析任务，并将APP分析任务上传至消息队列模块供APP自动运行模块提取。