[发明专利]基于SPARK技术的移动终端数据流处理方法及系统

说明书

本发明提出一种基于SPARK技术的移动终端数据流处理方法及系统，移动终端专用应用软件记录下终端运行时产生的位置信息、用户的操作轨迹、终端内部各模块的运行状态等移动终端运行日志数据，经过无线网络传送至后台数据服务中心，数据服务中心在收到数据后使用大数据SPARK集群进行计算分析，将处理后的有价值数据进行前端实时展示、后台数据库存储或其它基于此类数据的增值应用。使用本方法，在移动终端集群侧，可以发送较为全面的、可自定义数据流报文格式的各类数据；在数据服务中心侧，则可以采用由多台廉价的PC机组成SPARK计算集群实现对此类数据的分析和处理，且具备时效性，能为上层做决策提供数据支撑。

技术领域

本发明属于移动终端数据流处理的技术领域，具体涉及一种基于SPARK技术的移动终端数据流处理方法及系统。

背景技术

随着大数据技术和移动通信技术的快速发展，移动应用终端与后台数据中心的数据交互处理已经成为移动通信项目实施过程中的重要组成部分。

在交互过程中，移动终端会发送由其应用软件产生的各种结构化或半结构化类型的数据到数据中心，数据中心则对这些数据进行分析处理。但随着时间的推移，数据中心收到的数据持续增大乃至于海量级，分析这样的数据要求更高的数据处理能力。当前，在这类数据处理的方法中，常规做法是采用商用软件或者采用人工直接查看运行日志的方法来做数据分析。在特定场景中，采用商用软件会产生软件授权使用费用或者存在潜在的安全性问题；而采用人工方式直接对GB量级及以上的文件进行分析是不可靠的，且时效性不能保证。

如图1所示，现有技术中，若干移动终端经无线网络不停的向后台数据服务中心上报固定格式的数据(主要包括设备整机工作状态及设备内部的各个硬件模块的运行状态信息)，后台数据服务中心收到数据后将数据显示在计算机做展现，并将数据存储至数据库，从而实现远程监控移动终端运行的基本情况。但这种方案存在着一定缺陷，主要体现在：后台数据服务中心对收到的数据处理略显简单，只是对数据进行了简单的前端界面展示和数据库存储操作，并未对数据进行分析。采用这样的处理方式，在数据服务中心运行一定时间后，数据服务中心的数据库会形成海量的移动终端运行日志，当终端出现问题时，用户无法通过日志及时定位问题。此外，移动终端上报的数据流的报文格式是固定的，内容不够详细，当终端出现问题时，用户无法通过日志精确定位问题，显得不够灵活。

发明内容

为解决上述问题，本发明提供一种基于SPARK技术的移动终端数据流处理方法及系统。使用本方法，在移动终端集群侧，可以发送较为全面的、可自定义数据流报文格式的各类数据，诸如用户对终端的操控信息、设备位置信息等各类信息；在数据服务中心侧，则可以采用由多台廉价的PC机组成SPARK计算集群实现对此类数据的分析和处理，且具备时效性，能为上层做决策提供数据支撑。

本发明解决问题方案的基本思路是：移动终端专用应用软件记录下终端运行时产生的位置信息、用户的操作轨迹(如，拨打电话、发送短信、查看或者修改设备串口号、波特率及参数等)、终端内部各模块的运行状态等移动终端运行日志数据(一条日志数据由若干条用户自定义格式的报文组成)，经过无线网络传送至后台数据服务中心，数据服务中心在收到数据后使用大数据SPARK集群进行计算分析，将处理后的有价值数据进行前端实时展示、后台数据库存储或其它基于此类数据的增值应用。具体技术方案如下：

基于SPARK技术的移动终端数据流处理方法，包括：

接收移动终端集群侧发送的数据报文；

对接收到的数据报文进行解码，并将解码后的数据流作为数据源发送至SPARK大数据计算集群；

SPARK大数据计算集群采用SPARK技术对解码后的数据流进行数据分析处理和提取，以供后续调用。

作为一种优选方案，后续调用包括前端展示和/或数据库存储。

作为一种优选方案，前端展示以图表方式向用户直观显示数据信息。