[发明专利]基于云计算的海量用户行为实时分析方法及系统

说明书

本发明公开了一种基于云计算的海量用户行为实时分析方法与系统，通过客户端实时采集用户行为及上下文数据，基于MapReduce模型进行预处理与聚合；对本体数据推理，实时分析用户最新兴趣；提出基于用户行为上下文的轨迹重现算法，进行轨迹补全；利用余弦因子法计算用户间兴趣相似度，建立用户兴趣相似度矩阵；构建马尔科夫转移矩阵以及基于协同过滤的马尔科夫推荐模型，实现有效与精准推送。本发明采用本体，对用户行为及上下文信息建模，并使用基于HBase的本体存储模式，实现大规模行为信息的语义级共享和重用。本发明将云计算、本体及推理、知识发现等技术相结合，解决了海量用户行为分析中，实时性、高效性、大规模存储以及智能化的问题。

技术领域

本发明涉及用户行为分析，具体地指一种基于云计算的海量用户行为实时分析方法及系统。

背景技术

用户行为分析是分析用户在使用网络资源时表现出来的规律、个性化的习惯，其目的在于监视、预测、甚至控制用户行为，而用户兴趣是用户的个性化特点针对网络资源的具体表现。在互联网飞速发展的今天，对用户行为进行分析，提取用户兴趣，了解其特点，一方面可以进行用户个性化定制与推送，为网站访问者提供更加主动的、智能化的服务；另一方面，从用户行为的不同表现，发现其兴趣和偏好，可以优化页面之间组织关系，完善网站系统架构，从而减轻用户寻找信息的负担，使其操作更加简单，节约时间和精力。

对于用户行为的分析，国内外做过很多研究，但存在一些问题：首先，大多集中于挖掘WEB日志，但这些日志并不足以及时描述用户访问网站时的情景，有必要实时搜集用户在客户端操作时行为以及上下文信息，将二者相结合，才能最大限度地重现用户浏览Web页面的真实场景，提取全面的用户行为轨迹，为分析用户行为提供有效的数据保障。其次，大型网站一般拥有庞大的在线用户，产生的实时行为和上下文信息量巨大，因此，系统的存储能力和计算速度更强，才能及时地将分析结果反馈给用户。而目前，大多数用户行为分析系统采用关系数据库技术与传统的数据处理方法，不能很好满足海量数据的高效分析。另外，对于用户行为建模，国内外学者大多采用贝叶斯网络模型、向量模型，维度单一、缺乏层次性，不利于信息的共享、重用以及语义级行为数据的推理和分析。因此，有必要研究与发明一种海量用户行为数据的实时、高效的分析方法与系统。

目前，兴起的云计算技术以其强大的处理能力、存储能力以及廉价的硬件需求在IT领域引发了一场技术革命，作为一种新兴的共享基础架构的方法，云计算以公开标准和服务为基础，提供了安全、快速、便捷的海量数据存储和高效、弹性化的计算能力：

廉价可靠的海量分布式存储服务以及数据管理技术，为大规模用户行为数据的实时采集、管理与存储降低了处理成本，提高了效率；

虚拟化技术，实现了集中管理和动态使用物理资源、自主分配和调度计算资源的目的，为数据分析提供了可伸缩的计算能力并屏蔽了各种数据平台的异构性；

发明内容

本发明目的在于克服上述现有技术的不足而提供一种基于云计算的海量用户行为实时分析方法及系统，本发明综合利用云计算、本体推理以及知识发现方法等技术，对实时采集的海量用户行为数据，提供一种高效存储、分析的方法与系统，从而，实现了有效与精准的推送。

实现本发明目的采用的技术方案是：一种基于云计算的海量用户行为实时分析方法，包括如下步骤：

（1）客户端实时采集用户行为及上下文信息，然后通过客户端Ajax异步上传到服务器保存；

（2）对用户行为及上下文信息采用MapReduce并行模型进行预处理与聚合，将结果存放到HBase数据库相应表中；

（3）建立用户行为及上下文本体模型，并设计基于HBase的本体存储模式；

（4）将聚合后的用户行为及上下文信息添加到用户行为及上下文本体模型中，利用Jena和Hive对存储在HBase中的用户行为及上下文本体模型数据进行推理，找出用户最新兴趣数据；