[发明专利]数据处理方法及其系统

说明书

本公开提供了一种数据处理方法，包括：实时获取用户访问应用程序而产生的流量数据；按照预定规则对实时获取的流量数据进行实时处理，得到处理后的流量数据；将处理后的流量数据作为即时流量数据；以及基于即时流量数据实时更新流量宽表，以使流量宽表中同时存储有用户访问应用程序而产生的历史流量数据和即时流量数据。本公开还提供了一种数据处理系统、计算机系统和计算机可读存储介质。

技术领域

本公开涉及互联网技术领域，更具体地，涉及一种数据处理方法、数据处理系统、计算机系统和计算机可读存储介质。

背景技术

随着互联网技术的快速发展，用户越来越依赖于互联网以实现各种目的。因此，在不同的平台上时刻都在产生着流量数据，例如，用户访问网站时会产生浏览日志和点击日志等等，这种日志一旦产生就无法修改，也不能删除。在相关技术中，一般会将流量数据以流量宽表的形式存储在数据库中。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：

查询数据库中存储的流量宽表，只能查询历史流量数据，无法查询实时流量数据(即当前时刻产生的流量数据)。

发明内容

有鉴于此，本公开提供了一种用于实时查询流量数据的数据处理方法和数据处理系统。

本公开的一个方面提供了一种数据处理方法，包括实时获取用户访问应用程序而产生的流量数据；按照预定规则对实时获取的流量数据进行实时处理，得到处理后的流量数据；将上述处理后的流量数据作为即时流量数据；以及基于上述即时流量数据实时更新流量宽表，以使上述流量宽表中同时存储有上述用户访问上述应用程序而产生的历史流量数据和即时流量数据。

根据本公开的实施例，实时获取用户访问应用程序而产生的流量数据包括获取上述用户访问至少一个应用程序而产生的日志信息；将上述日志信息输入kafka消息队列中，以使上述kafka消息队列对上述日志信息进行实时分类处理；以及基于上述kafka消息队列对上述日志信息的实时分类结果，获取上述用户访问上述至少一个应用程序中的每个应用程序而产生的流量数据。

根据本公开的实施例，按照预定规则对实时获取的流量数据进行实时处理，得到处理后的流量数据包括：按照上述预定规则对上述实时获取的流量数据进行数据清洗和/或数据格式转换和/或衍生字段处理，以得到上述处理后的流量数据。

根据本公开的实施例，按照预定规则对实时获取的流量数据进行实时处理，得到处理后的流量数据包括：检测是否具备对上述应用程序的流量数据进行处理的权限；以及如果具备对上述应用程序的流量数据进行处理的权限，则按照上述预定规则对上述实时获取的流量数据进行实时处理，得到上述处理后的流量数据。

根据本公开的实施例，基于上述即时流量数据实时更新流量宽表包括从redis缓存中获取与上述即时流量数据属于同一会话的历史流量数据；将上述即时流量数据和与上述即时流量数据属于同一会话的历史流量数据进行排序；以及根据排序结果将上述即时流量数据统计到上述流量宽表中的相应衍生字段中。

根据本公开的实施例，上述方法还包括按照预定时间间隔将上述流量宽表写入分布式文件系统；在Hive数据库集群中创建与上述分布式文件系统中的上述流量宽表关联的外部表；以及通过上述外部表对上述应用程序上产生的流量数据进行实时查询。

本公开的另一个方面提供了一种数据处理系统，包括获取模块、第一处理模块、第二处理模块和更新模块。获取模块用于实时获取用户访问应用程序而产生的流量数据；第一处理模块用于按照预定规则对实时获取的流量数据进行实时处理，得到处理后的流量数据；第二处理模块用于将上述处理后的流量数据作为即时流量数据；以及更新模块用于基于上述即时流量数据实时更新流量宽表，以使上述流量宽表中同时存储有上述用户访问上述应用程序而产生的历史流量数据和即时流量数据。