[发明专利]移动终端大数据处理方法、装置及存储介质

说明书

本发明公开了一种移动终端大数据处理方法、装置、大数据架构及存储介质，所述架构包括传输层、存储层、处理层和展示层，所述传输层、存储层、处理层和展示层依次相连；所述传输层，用于收集移动终端数据，并通过流处理平台上传；所述存储层，用于接收流处理平台上传的移动终端数据；根据应用需求，选择存储系统存储移动终端数据；所述处理层，用于获取移动终端数据；利用计算引擎和处理框架对移动终端数据进行处理，所述计算引擎用于对数据进行流处理，所述处理框架用于对数据进行批量处理；所述展示层，用于展示处理后的移动终端数据。本发明可以收集、存储、处理、展示和管理移动终端数据，可以给用户和运营者提供一个安全、稳定和有效的环境。

技术领域

本发明涉及一种移动终端大数据处理方法、装置、大数据架构及存储介质，属于大数据处理及管理领域。

背景技术

大数据(big data)是近年来非常热门的词汇，又称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产，主要用于数据的整合，便于及时对数据信息进行分析。

目前，传统分析IP流数据局限于流量汇总视角，随着无线网络中移动终端(如手机等)的数据增长，需要更加细致的大数据系统来监测无线网络，以便对移动终端的大量数据流量进行收集、存储、处理、分析以及管理。

发明内容

有鉴于此，本发明提供了一种移动终端大数据处理方法、装置、大数据架构及存储介质，其可以收集、存储、处理、展示和管理移动终端数据，可以给用户和运营者提供一个安全、稳定和有效的环境。

本发明的第一个目的在于提供一种移动终端大数据处理方法。

本发明的第二个目的在于提供一种移动终端大数据处理装置。

本发明的第三个目的在于提供一种移动终端大数据架构。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种移动终端大数据处理方法，所述方法包括：

获取移动终端数据；

利用计算引擎和处理框架对移动终端数据进行处理；其中，所述计算引擎用于对数据进行流处理，所述处理框架用于对数据进行批量处理。

进一步的，所述利用计算引擎和处理框架对移动终端数据进行处理，具体包括：

根据流的数量、持续时间、字节、用户数量以及时间/空间动态包，对流量数据进行分析；

从移动数据流量用户的角度，对移动终端应用完成各个子任务的相关数据进行采集和分析；

对移动终端用户的行为进行分析。

进一步的，所述获取移动终端数据之前，还包括：

接收流处理平台上传的移动终端数据；

根据应用需求，选择存储系统存储移动终端数据。

进一步的，所述根据应用需求，选择存储系统存储移动终端数据，具体包括：

针对移动终端数据，若存在访问频率大于或等于第一频率阈值的数据，则选择热存储系统存储；

针对移动终端数据，若存在访问频率小于第一频率阈值，且大于或等于第二频率阈值的数据，则选择温存储系统存储；

针对移动终端数据，若存在访问频率小于第二频率阈值的数据，则选择冷存储系统存储。

本发明的第二个目的可以通过采取如下技术方案达到：

一种移动终端大数据处理装置，所述装置包括：