[发明专利]一种基于HBase的网页日访问次数获得方法及装置

说明书

技术领域

本发明涉及互联网信息技术领域，尤其涉及一种基于HBase的网页日访问次数获得方法及装置。

背景技术

目前，在互联网公司一般有如下需求：希望快速得到网页日访问次数的累加和排序，比如：得到公司所有产品页面的近90天的网页日访问次数累加和排序，并得到top500。由于公司所有的网页页面的数量比较多，并且每个网页页面每天的访问时间不是固定的，因此，不能用离线处理的方式计算网页日访问次数，只能针对每一个网页页面只能处理该网页页面在一天内有多少网页日访问次数，并依次计算这90天内每天该网页页面的网页日访问次数，通过将这90天内每天该网页页面的网页日访问次数累加起来，计算得到该网页页面这90天内的页面网页日访问次数累加并排序。

由于目前互联网公司所拥有的网页页面数量十分巨大，一般往往在10亿数量级，而这些网页页面每天的访问量又十分巨大，每天每个网页页面的访问次数往往也是几亿数量级，以统计90天范围内所有产品页面网页页面的网页日访问次数为例，往往需要查询几百亿条记录，以计算得到90天内所有产品页面网页页面的日访问次数，由于在大数据场景下，需要查询与计算的数据量十分庞大，而依靠传统的关系型数据库，在实现如此超大规模的数据的查询时，需要耗费大量的时间，无法满足互联网公司要求对数据进行快速累加与排序的目的。

发明内容

有鉴于此，本发明实施例期望提供一种基于HBase的网页日访问次数获得方法及装置，能够快速将大规模网页日访问记录进行统计，提高统计效率。

为达到上述目的，本发明实施例提供了一种基于HBase的网页日访问次数获得方法，所述方法包括：

将网页日访问记录存储在HBase的存储区域中，所述存储区域保存的网页日访问记录每超过一次预设值增加一个存储区域；

接收到网页日访问次数获取请求后，将存储有网页日访问记录的各个存储区域中保存的网页日访问记录进行累加，获得总体网页日访问次数。

上述方案中，所述将存储有网页日访问记录的各个存储区域中保存的网页日访问记录进行累加之后，所述方法还包括：将各个存储区域中保存的网页日访问记录进行排序，得到总体网页日访问次数排名。

上述方案中，将各个存储区域中保存的网页日访问记录进行排序，得到总体网页日访问次数排名，包括：将各个存储区域保存在各个节点上的网页日访问记录进行排序，得到各个存储区域的网页日访问次数排名；将所述各个存储区域网页日访问次数排名进行合并，得到总体网页日访问排名。

本发明实施例还提供了一种基于HBase的网页日访次数获得装置，所述装置包括：

存储模块，用于将网页日访问记录存储在HBase的存储区域中，所述存储区域保存的网页日访问记录每超过一次预设值增加一个存储区域；

处理模块，用于接收到网页日访问次数获取请求后，将存储有网页日访问记录的各个存储区域中保存的网页日访问记录进行累加，获得总体网页日访问次数。

上述方案中，所述处理模块还用于：将各个存储区域保存在各个节点上的网页日访问记录进行排序，得到各个存储区域的网页日访问次数排名；将所述各个存储区域网页日访问次数排名进行合并，得到总体网页日访问排名。

上述方案中，所述处理模块具体用于：将各个存储区域保存在各个节点上的网页日访问记录进行排序，得到各个存储区域的网页日访问次数排名；将所述各个存储区域网页日访问次数排名进行合并，得到总体网页日访问排名。

本发明实施例提供的一种基于HBase的网页日访问次数获得方法及装置，将网页日访问记录依次存储在HBase的存储区域中，所述存储区域包括至少一个存储子区域；接收到网页日访问次数获取请求后，将存储有网页日访问记录的各个存储子区域中保存的网页日访问记录进行累加，得到网页日访问次数；进一步的，将网页日访问记录进行累加后还可以排序，获得总体网页日访问次数排名。如此，通过将网页访问记录存储在分散的存储区域中，同时对分散的存储区域中的网页访问记录进行累加排序，能够快速的将大规模网页日访问记录进行累加和排序获得网页日访问次数排名，从而提高效率。

附图说明

图1为本发明实施例基于HBase的网页日访问次数获得方法流程示意图；

图2为本发明实施例基于HBase的网页日访问次数获得装置结构示意图；

图3为本发明实施例基于HBase的网页日访问次数获得方法详细流程示意图；

具体实施方式