[发明专利]基于统计的存储管理和快速索引实现海量话单合并的方法

说明书

一、技术领域

本发明属于电信运营商大规模准确数据处理应用技术范畴。

二、背景技术

当普通电信用户使用CDMA1X上网时，电信网络设备上并不记录用户的完整话单，而 是分别记录“开始单”、“中间单”、“结束单”。用户开始上网时产生一条“开始单”，下 网时产生一条“结束单”，上网过程中产生根据时间长短生成0到多条“中间单”(目前 一般是10分钟生成一次)；对客户服务和计费要求是一条完整的话单，这就需要电信运 营商计费系统把一次上网的开始单、中间单、结束单合并起来成为一条完整的话单；合 并具体的做法是：

1)通过话单里面的部分指示标识出开始单、中间单还是结束单；

2)通过IMSI，会话标识，PPP连接标识这些关键字把话单关联起来，对于关键字一 样的话单合并成一条完整的话单；

前几年，业务量较小，国内外的电信计费产品普遍采用磁盘数据库，通过磁盘数据库 来实现话单合并，这项技术充分利用数据库分区和索引技术，能够将待合并的话单快速 定位。

现在，随着业务的发展，话单数量越来越大，例如某省电信公司目前一个月待合并的 话单达到2亿条(这个数量在全国算中等)，并且还在不断的增长，这样，每次合并操作 的搜索范围扩大了，同时单位时间内需要完成的合并操作的数量也增大了，上述传统的 通过磁盘数据库的话单合并技术上已经不能满足生产的要求。

在这种情况下，有的计费厂家开始使用关系内存数据库来代替磁盘数据库进行处理， 虽然效率有所提高，但是存在如下问题：

1)要求系统内存足够大，内存数据库的基础就是所有数据都放在内存中，以月2亿 话单量为例，测试需要的内存为22G；

2)另外由于话单合并参考的关键字不止一个，索引条件复杂，话单里面含有的信息 量多，采用内存数据库来进行处理，效率还是差强人意。

本申请人提出了CN200610085767.4基于内存的海量话单快速交叉排重方法专利 申请，这种方法的应用还需要做进一步工作。

三、发明内容

本发明目的是：提出基于统计的存储管理和快速索引实现海量话单合并的方法，就 改进海量话单合并的方法提出的新的技术方案。克服采用磁盘数据库来实现话单合并， 效率上不能满足海量数据的要求的不足；采用内存数据库，内存占用较大，效率也差强 人意；在占用内存较小的情况下，解决了效率问题。

本发明的技术方案是：基于统计的存储管理和快速索引实现海量话单合并的方法，在 话单合并处理中，使用基于统计的存储管理和索引方法，从而能减少内存占用，更快地 进行数据处理；在话单合并处理中，根据业务实际运营的数据进行统计，计算出存储分 配的合适策略，进行相应的存储管理；所述的快速索引方法为：在话单合并处理中，根 据话单合并的特点，对关键字进行加工拆分，分级使用不同的索引策略，最后形成适合 话单合并的快速索引；

采用三级存储机制：第一级为内存中的工作集窗口，第二级为内存中的压缩排重信 息，第三级为磁盘；在一级和二级存储之间的换入和换出没有涉及I/O，只是解压缩和压 缩，当二级满时，换出到磁盘文件；

基于统计的存储管理方法：数据存储上采用了以上三个级别，那么一条待合并话单 进入系统之后，存储三个级别中的某一级别通过本话单合并系统基于统计的方式自学习， 来确定存储的级别：

1)当每次合并生成完整的话单时，统计该话单的时长；

2)定期分析话单时长的统计结果，计算话单的平均时长；求出参考时长，使得介于 参考时长到平均时长间的话单量为总统计话单量的10％；

3)对于开始话单和中间单直接存入二级存储，如果二级存储满，把最近的话单换出 到文件；二级存储中按时间片组织数据；

4)定时扫描，把进入参考时长的话单换入到一级存储，准备用来合并；

5)对于结束单，直接从相关存储中读取所有同关键字的话单进行合并操作； 基于键树、二叉平衡树、哈希表的快速索引方法：