[发明专利]一种分布式的基于可移动设备的大规模数据采集系统及方法

摘要

本发明公开了一种分布式的基于可移动设备的大规模数据采集系统及方法，该系统包括移动终端子系统和服务管理子系统。所述移动终端子系统包括数据采集器，能够自主申请采集任务并执行；数据处理器，对采集到的数据进行抽取、解析、压缩及传输；状态控制器，记录移动设备的运行及执行情况并控制调度。所述服务管理子系统包括设备管理器，管理所有在网移动设备及其运行与网络状态；任务管理器，集中管理所有采集任务，并对采集频率、任务状态做动态化管理；数据分析器对移动设备返回的数据进行清洗加工；中央控制器，控制管理其他管理器模块。采用本发明，能够灵活地部署大规模数据采集网络，并有效利用闲置移动设备与网络带宽，降低数据采集的成本。

主权项

一种分布式的基于可移动设备的大规模数据采集系统，其特征在于，包括移动终端子系统、服务管理子系统，其中：所述移动终端子系统部署在电视盒子、手机、Pad不同类型的移动终端设备上，包括数据采集器、数据处理器、状态控制器，其中：所述数据采集器不间断从服务管理子系统申请采集任务以及不同采集任务的执行要求，所述采集任务包括列表页任务和内容页任务，执行采集任务后，采集的数据即时传递给数据处理器；所述数据处理器对数据采集器采集后的数据进行网页数据的解析、抽取，然后打包并传输到服务管理子系统的数据分析器，数据处理器协同服务管理子系统的中央控制器，对不同的移动终端设备，执行不同的数据压缩与传输策略，所述数据压缩与传输策略为：如果移动终端设备的CPU处理性能和网络传输能力较强，则执行较高效的数据压缩格式，处理较多的单次压缩数量，反之，则执行较为低效的本地压缩格式和较少的单次压缩数量；所述状态控制器记录当前移动终端设备上采集任务的CPU占用情况、内存占用情况、上行网络占用情况、下行网络占用情况、任务完成时间，以及所述当前移动终端设备上其他活跃任务的CPU、内存和网络占用情况，并按固定的时间间隔发送给服务管理子系统的设备管理器，同时接受服务管理子系统的中央控制器对移动终端设备的状态控制与变更；所述服务管理子系统部署在大型服务器上，包括设备管理器、任务管理器、数据分析器、中央控制器，其中：所述设备管理器，用于管理所有接入分布式网络的移动终端设备，并监控记录其运行状态与任务完成效率，监控记录的数据定时发送给中央控制器做评估分析，设备管理器远程控制移动终端设备的软件更新与数据处理的策略调整，当移动终端设备连接上网络时，自动访问服务管理子系统的设备管理器，检查版本更新情况，如有新版本，自动下载升级；当设备管理器通过移动终端设备的状态控制器发送来的记录显示数据采集任务已经影响到其他活跃任务时，将自动降低任务申请频度和压缩算法，释放移动设备的部分处理能力，当其他任务出现空闲时，则自动提高处理频度；所述任务管理器，用于对所有待采集任务进行分类、评估以及任务完成效率反馈分析，形成一个包含采集间隔、待采集任务期望耗时的有序化列表，所述任务管理器可以对所有待采集的列表页任务和内容页任务进行管理控制，当移动终端设备上的数据采集器申请采集任务时，任务管理器将联系设备管理器查询该移动终端设备的网络位置及性能情况，在待处理任务中选择性能匹配的任务分配给移动终端设备，分配的原则包括内容页优先、移动终端设备所在网络点位置与待采集网页所在的站点通信响应时间较短的优先、移动设备处理单位任务处理性能较强的获取更多任务量；所述数据分析器，用于处理移动终端子系统传输来的经过解析压缩处理的网页数据，对数据进行解压、分类和进一步的清洗过滤；所述中央控制器，用于统筹管理设备管理器、任务管理器、数据分析器，并与移动终端子系统进行通信，分配任务、分析任务执行情况、处理异常情况。