[发明专利]一种大数据统计方法及用于大数据统计的系统

说明书

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种大数据统计方法及用于大数据统计的系统。

背景技术

进入2012年，大数据(big data)一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据。截止到2012年，数据量已经从TB(1024GB＝1TB)级别跃升到PB(1024TB＝1PB)、EB(1024PB＝1EB)乃至ZB(1024EB＝1ZB)级别。国际数据公司(IDC)的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数据量更是高达1.82ZB，相当于全球每人产生200GB以上的数据量。

对海量数据进行统计分析，是一件非常耗时的事，特别是在面对ZB级别的数据时，进行实时数据统计不但不能及时返回统计结果，而且更有可能将系统应用拖垮。所以在当下，几乎不可能对海量数据提供实时的统计分析。即便是众所周知的友盟，在向客户提供数据统计服务时，也是在预先统计归档的数据基础之上，从归档好的数据中进行二次查询，对数据进行统计分析。这种做法的优点是统计分析的响应时间快，但缺点也很明显，归档数据是离线处理好的，在此基础上查询统计分析出来的结果，并非当前真实精准的数据。

发明内容

本发明的主要目的在于提出一种大数据统计方法及用于大数据统计的系统。本发明将定时统计和动态闲时统计相结合，使得在进行海量数据统计时能够既快速又精准地获得所需要统计的数据。

本发明解决上述技术问题的技术方案如下：

一种大数据统计方法，包括：定时统计和动态闲时统计，所述定时统计和所述动态闲时统计同步执行。

进一步地，所述动态闲时统计包括：

中间件系统判断当前数据库是否处于空闲状态，若是，则发送调用闲时统计接口的信息给大数据统计系统；

大数据统计系统接收到所述调用闲时统计接口的信息，判断当前闲时统计接口是否可以被合法调用，若是，则启动闲时统计。

进一步地，所述中间件系统判断当前数据库处于空闲状态具体为：所述中间件系统判断在预设的触发时间间隔内所述中间件系统的并发访问量是否小于预设的触发阈值，若是，则当前数据库处于空闲状态；否则，当前数据库处于非空闲状态。

进一步地，所述中间件系统判断在预设的触发时间间隔内所述中间件系统的并发访问量是否小于预设的触发阈值之前，还包括：动态预设触发时间间隔和触发阈值。

进一步地，在所述中间件系统上动态预设触发时间间隔和触发阈值。

进一步地，在所述大数据统计系统上动态预设触发时间间隔和触发阈值，所述大数据统计系统将所述动态预设的触发时间间隔和触发阈值发送给所述中间件系统，所述中间件系统接收所述动态预设的触发时间间隔和触发阈值。

进一步地，所述在所述大数据统计系统上动态预设触发时间间隔和触发阈值，所述大数据统计系统将所述动态预设的触发时间间隔和触发阈值发送给所述中间件系统，所述中间件系统接收所述动态预设的触发时间间隔和触发阈值，具体为：在所述大数据统计系统的控制页面上动态预设触发时间间隔和触发阈值，所述大数据统计系统将所述动态预设的触发时间间隔和触发阈值以http协议发送给所述中间件系统，所述中间件系统接收所述动态预设的触发时间间隔和触发阈值。

进一步地，所述定时统计包括：

在所述大数据统计系统的管理页面上设置定时统计的执行频率；

所述大数据统计系统按照所述执行频率启动定时统计。

一种用于大数据统计的系统，包括中间件系统和大数据统计系统，所述大数据统计系统执行上述一种大数据统计方法中所述的定时统计，所述中间件系统和所述大数据统计系统共同执行上述一种大数据统计方法中所述的动态闲时统计，所述定时统计和所述动态闲时统计同步执行。

本发明提供了一种大数据统计方法及用于大数据统计的系统，所述方法包括定时统计和动态闲时统计，所述定时统计和所述动态闲时统计同步执行。本发明将动态闲时统计和定时统计相结合，动态闲时统计归档的数据可使在进行海量数据统计分析时能够既快速又精确的获得所需要的统计数据，当动态闲时统计出现故障时，定时统计归档的数据可为海量数据的统计分析提供统计基础，保证能够快速获得所需要的统计数据。

附图说明

图1是本发明一种大数据统计方法的流程示意图；

图2是本发明一种大数据统计方法中动态闲时统计的一个优选实施例的流程图；

图3是本发明一种用于大数据统计的系统执行动态闲时统计的一个优选实施例的流程图；