[发明专利]基于海量用户行为数据的高速计算分析方法

摘要

本发明主要解决的是面对越来越灵活的双向新媒体业务，面对百万级，甚至千万级用户的海量行为数据，将采集到的用户行为数据进行HDFS分布式存储，经过ETL模块对数据进行提取、转换和加载之后，由符合传媒行业特点的优化组合算法模块，将海量的用户行为数据进行高效的数据预处理，形成一系列的中间结果数据，再通过不同的WEB应用程序调用相关的中间结果数据集，以实现对海量用户行为数据的高速分析运算，为运营商提供秒级的实时计算分析。

主权项

一种基于海量用户行为数据的高速计算分析方法，其特征在于：包含如下步骤：A、首先采集运营商的海量用户行为数据及第三方系统的异构数据；B、通过HDFS分布式存储模块进行三备份分布式存储；C、通过ETL模块完成对海量行为数据的提取、转化及加载；D、然后再由算法处理模块对转化后的海量行为数据通过优化组合的算法包及数据模型进行数据预处理操作，最终形成一系列的中间结果数据，并存储在中间结果数据存储模块中；E、通过不同的WEB应用程序由操作用户提交分析请求，直接从中间结果数据存储模块中调用所需的指标数据，并通过运算即可完成对用户分析请求的结果反馈。