[发明专利]一种用户数据统计方法及系统

说明书

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种用户数据统计方法及系 统。

背景技术

进入2012年，大数据(bigdata)一词越来越多地被提及，人们用它来 描述和定义信息爆炸时代产生的海量数据。截止到2012年，数据量已经从TB (1024GB＝1TB)级别跃升到PB(1024TB＝1PB)、EB(1024PB＝1EB)乃至 ZB(1024EB＝1ZB)级别。国际数据公司(IDC)的研究结果表明，2008年全球产 生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011 年的数据量更是高达1.82ZB，相当于全球每人产生200GB以上的数据量。

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系 统的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。行业/企业大数据 动辄达到数百TB甚至数十至数百PB，如此数量级的大数据已远远超出了现有 传统的计算技术和信息系统的处理能力，因此寻求有效的大数据处理技术已 经成为现实世界的迫切需求。

随着客户端功能的丰富，各种APP应用越来越多，每一种APP都涉及到了 用户相关行为的统计分析功能，即所谓的大数据统计分析需求。而为了实现 大数据的统计分析，首先必须能够在大范围内收集用户在客户端的行为日志 数据，即用户数据记录。现有技术中，用户数据记录技术主要分为两种，一 种为客户端记录用户数据，该用户数据实时入数据库；另一种为客户端记录 用户数据后，该用户数据存入消息队列或者缓存服务器中，实现异步入数据 库。当用户数据数量较大时，第一种方式会对数据库以及数据库服务器造成 很大的压力；第二种方式能减小数据库和数据库服务器的压力，但会在消息 队列或者缓存服务器中存在瓶颈，最终限制数据库以及数据库服务器的数据 吞吐量，整体上降低用户数据的记录效率。

发明内容

本发明的主要目的在于提出一种能够提高数据吞吐量，能够提高数据记 录效率的用户数据统计方法及用户数据统计系统。

为实现上述目的，本发明提供一种用户数据统计方法。

一种用户数据统计方法，包括：

客户端对记录的用户数据进行一次统计并将一次统计数据发送给统计服 务器；

统计服务器对接收到的所述一次统计数据进行二次统计并将二次统计数 据发送给数据库服务器，以使数据库服务器将所述二次统计数据写入数据库。

一种用户数据统计方法，包括：

客户端对记录的用户数据进行一次统计并将一次统计数据发送给统计服 务器；

统计服务器对接收到的所述一次统计数据进行二次统计并将二次统计数 据发送给缓存服务器；

缓存服务器将接收到的所述二次统计数据发送给数据库服务器，以使数 据库服务器将所述二次统计数据写入数据库。

一种用户数据统计方法，包括：

客户端对记录的用户数据进行一次统计并将一次统计数据发送给统计服 务器；

统计服务器对接收到的所述一次统计数据进行二次统计并将二次统计数 据发送给缓存服务器：

应用服务器查询缓存服务器是否接收到所述二次统计数据，若是，则应 用服务器从缓存服务器获取所述二次统计数据并将该二次统计数据发送给数 据库服务器，以使数据库服务器将所述二次统计数据写入数据库。

进一步地，缓存服务器接收所述二次统计数据，并在缓存服务器本地备 份所述二次统计数据。

此外，为实现上述目的，本发明还提出一种用户数据统计系统。

一种用户数据统计系统，包括：

客户端，用于对记录的用户数据进行一次统计并将一次统计数据发送给 统计服务器；

统计服务器，用于对接收到的所述一次统计数据进行二次统计并将二次 统计数据发送给数据库服务器；

数据库服务器，用于将所述二次统计数据写入数据库。

一种用户数据统计系统，包括：

客户端，用于对记录的用户数据进行一次统计并将一次统计数据发送给 统计服务器；

统计服务器，用于对接收到的所述一次统计数据进行二次统计并将二次 统计数据发送给缓存服务器；

缓存服务器，用于接收所述二次统计数据进行缓存并将所述二次统计数 据发送给数据库服务器。

数据库服务器，用于将接收到的所述二次统计数据写入数据库。