[发明专利]一种大容量数据的统计方法及系统

说明书

技术领域

本发明属于数据处理领域，尤其涉及一种大容量数据的统计方法及系统。

背景技术

随着计算机和网络通信技术的发展，网络也成为人们工作、生活中沟通交流的主要工具。网络上也出现了许多大容量的访问数据需要统计，如网页的浏览数据、网站的浏览数据或者注册数据、网络广告的浏览数据等。由于这些访问数据的数据量巨大，对用于存储这些大容量访问数据的数据库管理系统以及用于统计这些大容量访问数据的统计设备(如计算机)的性能的要求都很高，甚至随着网页、网站、网络广告的浏览量的增加，单一的数据统计设备的性能无法满足对这些大容量访问数据的统计需求。

现有技术提供了一种数据库存储方案的数据统计方法来对上述大容量访问数据进行统计，其具体流程如下：对于用户的每一次访问操作，如网页浏览操作、网站访问操作、广告浏览操作等，均生成一条访问数据，该访问数据至少记录了用户的该次访问操作的访问类型标识，为了更精确的记录用户的该次访问操作，便于后续对访问数据进行统计，该访问数据还记录了用户的该次访问操作的详细信息，如用户标识、用户性别、用户年龄、用户地域、访问时间等。对访问数据进行遍历和统计，得到访问数据的统计数据，删除该访问数据中记录的用户该次访问操作的详细信息，并将得到的访问数据的统计数据存储至数据库。由于服务器的处理能力有限，因此，即使采用上述方法，一台服务器依然难以对如此巨大的访问数据进行统计。同时由于该方法在将得到的访问数据的统计数据存储至数据库时，删除了访问数据中记录的用户该次访问操作的详细信息，因而无法统计访问数据的唯一数据量。

发明内容

本发明实施例的目的在于提供一种大容量数据的统计方法，旨在解决现有技术由于受设备性能的限制，难以对大容量数据进行统计的问题。

本发明实施例是这样实现的，一种大容量数据的统计方法，所述方法包括下述步骤：

将大容量访问数据分配至一台或者多台分片服务器；

分片服务器对所述访问数据进行分片处理，得到由关键字部分和值部分组成的访问数据，并根据所述访问数据的关键字部分，将分片处理后的访问数据分配至规约服务器；

规约服务器对所述分片处理后的访问数据进行规约和统计，得到所述访问数据的统计数据。    

本发明实施例的另一目的在于提供大容量数据的统计系统，所述系统包括：

调度服务器，用于将大容量访问数据分配至一台或者多台分片服务器；

分片服务器，用于对所述访问数据进行分片处理，得到由关键字部分和值部分组成的访问数据，并根据所述访问数据的关键字部分，将分片处理后的访问数据分配至规约服务器；

规约服务器，用于对所述分片处理后的访问数据进行规约和统计，得到所述访问数据的统计数据。

在本发明实施例中，通过采用分布式处理环境，将大容量访问数据随机分配至一台或者多台分片服务器，从而可以充分利用大量空闲的网络资源，轻易的对大容量数据进行统计；同时分片服务器将分片处理后的访问数据分配至规约服务器进行规约和统计，从而充分发挥了数据处理的并行性，提高了效率。

附图说明

图1是本发明实施例提供的大容量数据的统计方法的实现流程图；

图2是本发明实施例提供的大容量广告浏览数据的统计方法的实现流程图；

图3是本发明实施例提供的大容量数据的统计系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。 

在本发明实施例中，根据用户对网络提供的某种服务的访问操作，生成与该访问操作相应的访问数据，将生成的访问数据随机的分配至多台分片服务器，分片服务器对访问数据进行分片处理，得到由关键字和值组成的访问数据，并根据访问数据的关键字，将访问数据分配至规约服务器，规约服务器对访问数据进行规约和统计，得到访问数据的统计数据，从而完成大容量数据的统计。

图1示出了本发明实施例提供的大容量数据的统计方法的实现流程，详述如下：

在步骤S101中，根据用户对网络提供的某种服务的访问操作，生成相应的访问数据，并将生成的多条访问数据随机分配至一台或者多台分片服务器，以将大容量访问数据分散处理。