[发明专利]数据处理方法及其系统

权利要求书

1.一种数据处理方法，包括：

实时获取用户访问应用程序而产生的流量数据；

利用storm程序按照预定规则对实时获取的流量数据进行实时处理，得到处理后的流量数据；

将所述处理后的流量数据作为即时流量数据；

从redis缓存中获取与所述即时流量数据属于同一会话的历史流量数据；

将所述即时流量数据和与所述即时流量数据属于同一会话的历史流量数据进行排序；以及

根据排序结果将所述即时流量数据统计到流量宽表中的相应衍生字段中，以使所述流量宽表中同时存储有所述用户访问所述应用程序而产生的历史流量数据和即时流量数据；

其中，所述流量宽表中还包括关联字段，所述关联字段是将所述流量宽表与商品维表、分类维表进行关联后生成的；

按照预定时间间隔将所述流量宽表写入分布式文件系统，其中，所述预定时间间隔为分钟级别的；

在Hive数据库集群中创建与所述分布式文件系统中的所述流量宽表关联的外部表；

通过所述外部表对所述应用程序上产生的流量数据进行实时查询；

其中，实时获取用户访问应用程序而产生的流量数据包括：

获取所述用户访问至少一个应用程序而产生的日志信息；

将所述日志信息输入kafka消息队列中，以使所述kafka消息队列对所述日志信息进行实时分类处理；以及

基于所述kafka消息队列对所述日志信息的实时分类结果，获取所述用户访问所述至少一个应用程序中的每个应用程序而产生的流量数据。

2.根据权利要求1所述的方法，其中，按照预定规则对实时获取的流量数据进行实时处理，得到处理后的流量数据包括：

按照所述预定规则对所述实时获取的流量数据进行数据清洗和/或数据格式转换和/或衍生字段处理，以得到所述处理后的流量数据。

3.根据权利要求1或2所述的方法，其中，按照预定规则对实时获取的流量数据进行实时处理，得到处理后的流量数据包括：

检测是否具备对所述应用程序的流量数据进行处理的权限；以及

如果具备对所述应用程序的流量数据进行处理的权限，则按照所述预定规则对所述实时获取的流量数据进行实时处理，得到所述处理后的流量数据。

4.一种数据处理系统，包括：

获取模块，用于实时获取用户访问应用程序而产生的流量数据；

第一处理模块，用于利用storm程序按照预定规则对实时获取的流量数据进行实时处理，得到处理后的流量数据；

第二处理模块，用于将所述处理后的流量数据作为即时流量数据；以及

更新模块，用于基于所述即时流量数据实时更新流量宽表，以使所述流量宽表中同时存储有所述用户访问所述应用程序而产生的历史流量数据和即时流量数据，

写入模块，用于按照预定时间间隔将所述流量宽表写入分布式文件系统，其中，所述预定时间间隔为分钟级别的；

创建模块，用于在Hive数据库集群中创建与所述分布式文件系统中的所述流量宽表关联的外部表；

查询模块，用于通过所述外部表对所述应用程序上产生的流量数据进行实时查询；

其中，所述更新模块包括：

第三获取单元，用于从redis缓存中获取与所述即时流量数据属于同一会话的历史流量数据；

排序单元，用于将所述即时流量数据和与所述即时流量数据属于同一会话的历史流量数据进行排序；以及

统计单元，用于根据排序结果将所述即时流量数据统计到所述流量宽表中的相应衍生字段中，其中，所述流量宽表中还包括关联字段，所述关联字段是将所述流量宽表与商品维表、分类维表进行关联后生成的；

其中，所述获取模块包括：

第一获取单元，用于获取所述用户访问至少一个应用程序而产生的日志信息；

输入单元，用于将所述日志信息输入kafka消息队列中，以使所述kafka消息队列对所述日志信息进行实时分类处理；以及

第二获取单元，用于基于所述kafka消息队列对所述日志信息的实时分类结果，获取所述用户访问所述至少一个应用程序中的每个应用程序而产生的流量数据。