[发明专利]数据智能统计系统

摘要

本发明涉及计算机技术及通信领域，具体而言，涉及一种数据智能统计系统。本发明将源数据按字段进行分组，通过设置适当的分组个数及设置适当的统计时间粒度及超时时间使数据统计模块对内存的占用处于适当的程度，系统管理模块根据CPU的使用状况增加或减少并行处理的数据统计模块的个数，以实现对CPU的最优化利用。通过CPU及内存的优化利用降低从收到业务数据到生成最终统计结果之间的时延。

主权项

一种数据智能统计系统，其特征在于，所述数据智能统计系统包括：系统管理模块、数据接收模块、文件管理模块、数据统计模块、规则解析模块、数据汇总模块；其中：所述系统管理模块用于对其他各模块进行启动、停止、调度管理及运行状态监测；所述规则解析模块包含：源数据抽取字段表、字段映射关系表、汇总定义表、数据映射表、统计文件控制表；所述数据接收模块用于接收源数据并解析该源数据的包头ID，并检查所述数据映射表中是否包含该包头ID，如不包含，则将该源数据返回；如包含，则将该源数据及其数据格式透传到文件管理模块；所述文件管理模块用于接收到该源数据后，根据源数据抽取字段表对该源数据进行数据抽取，并按照设定的统计时间粒度将数据抽取后的源数据按统计文件控制表分组存放到各统计文件中；同时，设定一个超时时间，在存放一次数据之后，如果在一个统计时间粒度加上设定的超时时间之后还是没有该时间粒度的数据到来，则将各组统计文件发送给数据统计模块；所述数据统计模块用于将各统计文件根据字段映射关系表的统计规则进行统计，生成统计表各字段的统计值；所述数据汇总模块用于根据汇总定义表将统计表各字段的统计值还原成单条记录；所述统计文件控制表中包含源数据的包头ID与该源数据的分组个数及分组字段的对应关系；所述字段映射关系表中包含从源数据的字段到统计表的字段之间的映射关系，及统计表各字段的统计规则。