[发明专利]一种面向业务的数据计算方法及装置

说明书

技术领域

本发明涉及云计算技术领域，特别涉及一种面向业务的数据计算方法及装置。

背景技术

对于游戏厂商来说，用户操作游戏系统的行为以及游戏运行时，在游戏厂商的服务器上产生大量的数据。在用户操作游戏系统时，因网络中断等其他因素导致系统无法正常的运行，游戏运营人员需要及时发现问题。另外，在推广新游戏时，基于游戏厂商的服务器上的数据进行玩家消费行为分析、玩家数量分析等多种类型的数据计算，则需要从游戏厂商服务器处请求适于进行不同数据分析任务的数据，会对游戏厂商服务器来说会造成很大的压力，甚至会有可能会影响游戏厂商服务器上游戏程序的运行。

在游戏业务领域，经常需要对大量的业务数据进行分析，由于待分析的数据量通常较大，所以如何使得数据分析的效率得到提高就成为重要的课题。

发明内容

本发明实施例的主要目的在于提出一种面向业务的数据计算方法及装置，利用计算结果对业务服务器上的数据进行分析，提供工作效率，以克服上述问题。

为实现上述目的，本发明提供了一种面向业务的数据计算方法，包括：

收集用户数据和业务数据；

对用户数据和业务数据进行消重处理；

对消重处理后的数据进行实时计算，获得报表数据；同时，对消重处理后的数据进行存储，达到规定数据量后，对存储的数据进行离线计算，获得面向业务的集成数据。

在一实施例中，用户数据通过异步传输方式传输至分布式面向列的存储系统。

在一实施例中，业务数据按照系统日志协议传输至分布式面向列的存储系统。

在一实施例中，对用户数据和业务数据采用布隆过滤器进行消重处理。

在一实施例中，实时计算的步骤具体为：

对消重处理后的数据按照storm框架进行实时计算，获得报表数据，报表数据存储至分布式文档存储数据库。

在一实施例中，离线计算的步骤具体为：

通过日志收集器将消重处理后的数据中无结构化数据以文件形式存储至Hadoop分布式文件系统，通过日志收集系统将消重处理后的数据中结构化数据和半结构化数据存储至分布式面向列的存储系统；

基于Hadoop平台提供的编程接口，对Hadoop分布式文件系统和分布式面向列的存储系统各自存储的数据进行加载、抽取、转换处理，获得面向业务的集成数据。

在一实施例中，面向业务的集成数据包括：业务维度统计汇总和渠道维度统计汇总。

在一实施例中，报表数据包括：用户行为跟踪数据和用户标签；其中，用户行为跟踪数据包括网页行为和游戏系统行为。

在一实施例中，本方法获得了报表数据和游戏业务的集成数据，其中，利用报表数据及时发现游戏系统中的问题，利用游戏业务的集成数据决策后续游戏运营策略。

对应地，为解决现有技术的问题，本发明还提出了一种面向业务的数据计算装置，包括：

收集数据单元，用于收集用户数据和业务数据；

消重单元，用于对用户数据和业务数据进行消重处理；

计算单元，用于对消重处理后的数据进行实时计算，获得报表数据；同时，对消重处理后的数据进行存储，达到规定数据量后，对存储的数据进行离线计算，获得游戏业务的集成数据。

进一步地，收集数据单元将游戏用户数据通过异步传输方式传输至分布式面向列的存储系统。

进一步地，收集数据单元将业务数据按照系统日志协议传输至分布式面向列的存储系统。

进一步地，消重单元对游戏用户数据和业务数据采用布隆过滤器进行消重处理。

进一步地，计算单元包括实时计算模块；其中，实时计算模块，用于对消重处理后的数据按照storm框架进行实时计算，获得报表数据，报表数据存储至分布式文档存储数据库。

进一步地，计算单元包括离线计算模块，离线计算模块包括存储子模块和计算子模块；其中，

存储子模块，用于通过日志收集器将消重处理后的数据中无结构化数据以文件形式存储至Hadoop分布式文件系统，通过日志收集系统将消重处理后的数据中结构化数据和半 结构化数据存储至分布式面向列的存储系统；

计算子模块，用于基于Hadoop平台提供的编程接口，对Hadoop分布式文件系统和分布式面向列的存储系统各自存储的数据进行加载、抽取、转换处理，获得面向业务的集成数据。

进一步地，本发明提出的一种面向业务的数据计算装置还包括：第一应用单元；其中，第一应用单元，用于利用报表数据及时发现业务系统中的问题。