[发明专利]面向计费业务的数据实时抽取和关键性指标实时分析方法

说明书

技术领域

本发明涉及面向计费业务的实时数据挖掘分析方法，通过对计费原始话单的实时处理，能够对相关关键性指标进行实时的反馈和跟踪，大大提高了计费领域的数据分析效率。即运行，即分析，借助于基于内存的数据存储和处理方式，在节省磁盘开销的同时，又保证了数据分析的实时性，相比于传统的先存储，再抽取，再分析的模式有着明显的优势。

背景技术

对于计费业务来说，特点是数据量巨大，数据吞吐量高，面对巨大的数据量，如何能够通过数据分析的手段掌握关键性的数据指标，就更显得尤为重要。

传统的方式一般会采用先把话单数据进行存储到数据库，然后在定期的从数据库中抽取数据到数据仓库，最后再进行数据分析。整个分析过程属于后处理的方式，在计费业务不断增长的趋势下，这种传统的数据分析方式的不足之处已经日益凸显：

1，不具备实时性，分析滞后，关键性指标的分析结果不能体现当前的状态。

2，由于采用先存储，再分析的模式，在数据量巨大的情况下，数据准确性也会降低，而且无法对相关数据进行溯源比对。

3，由于采用磁盘存储的方式，大大增加了磁盘I/O的开销，对于细粒度的分析，完全依赖于数据库，直接的增加了数据库的负担，对于大数据量的即席查询，效率也非常低。

4，需要借助于第三方的数据仓库和挖掘工具，数据日常维护专业性要求高，成本高昂。

显而易见，在面对计费业务呈几何增长的形式下，对于运营商来说，对经营数据的实时性分析的需求就显得尤为迫切。

发明内容

本发明的目的是针对于传统计费的数据分析中所存在的分析滞后，效率低下等问题：提出的一种面向计费数据的实时抽取和关键性指标分析方法，面对电信、金融等行业计费数据的日以快速增长，能够实现对计费数据的实时抽取和分析，彻底解决传统的先存储再分析的滞后的数据分析方式。借助于基于内存的数据存储和处理方式，直接对计费原始话单进行实时处理，即运行，即分析，能够对相关关键性指标进行实时的反馈和跟踪，大大提高了计费领域的数据分析效率。在节省磁盘开销的同时，又保证了数据分析的实时性，相比于传统的先存储，再抽取，再分析的模式有着明显的优势。

本发明的技术方案是：

一种面向计费数据的实时抽取和关键性指标分析方法，该方法的实现包括以下步骤：

A、首先，建立面向计费话单文件的实时数据抽取进程和实时分析进程，设定待分析计费话单文件的关键性指标，将计费话单文件中的实时数据抽取到内存中；

B、将已抽取到内存中的实时话单数据进行并行的分流处理，然后将各路分流数据进行汇总合并。

C、通过实时分析进程，系统根据预先设定好的关键性指标，对合并的抽取数据进行实时分析，实时展现分析结果。

本发明的步骤B中，在内存中对抽取的实时话单数据进行并行的分流处理的速度不小于1000条话单数据/每秒。

本发明的步骤C中，直接对内存中的汇总数据进行实时的分析处理，通过web端的异步通讯技术进行数据指标的实时展现。

本发明的方法具体包括以下步骤：

A、在内存中建立基于多线程机制的内存存储进程和查询进程；

所述的内存存储进程包含以下步骤；

内存参数定义步骤

存储主实例定义步骤

数据存储步骤

所述的查询进程包含；

数据查询步骤

内存回收步骤

并发内存统一管理步骤，包括并发访问下内存的查询、更新和存储；

B、建立面向原始计费话单文件的实时数据抽取进程，其中包括对计费文件的智能容错规则库，具体包括以下内容：

建立基于XML格式的容错规则库，规则支持标准正则表达式，能够兼容主流交换机设备的话单格式；

建立基于缓存的数据读取进程；

C、建立实时计费话单数据的多线程并行预处理进程，将抽取的话单数据，进行并行的分流处理，然后将数据进行汇总合并。

具体包括：

并行任务配置步骤

存储使用配置步骤

数据分流处理步骤

数据合并步骤

D、建立面向内存处理的实时分析进程，系统根据预先设定好的关键性指标，对合并的抽取数据进行实时分析，实时展现分析结果，具体包括：

基于内存的分组查询步骤

特征分组查询即根据关键性指标，对应于各指标进行相应特征的分组查询的步骤

汇总查询即根据指标的特征对指标进行分组查询和汇总

定时查询任务步骤