[发明专利]一种话单剔重方法和装置

说明书

技术领域

本发明涉及通信计费领域，特别涉及一种广泛应用于通信领域中计费、结算系统的话单剔重方法和装置。

背景技术

计费系统在对话单进行批价前，必须先对从各网元或业务平台采集到的每条话单进行剔重处理，因此对于每天需要处理海量话单的计费系统来说，剔重系统的性能将直接影响到话单处理的及时性。

一般话单剔重过程均是在内存中进行的，基本原理如下：首先从话单中提取相应的关键域信息组合(例如手机号码、通话时间、对方号码、SP代码等，不同类的话单关键域组合不同)，再到内存中查找是否已存在该组合字段的信息，如果已有该话单关键域信息组合，则判断为重单，否则将该话单关键域信息保存在内存中。而内存中只能保存一定量的关键域信息，对于过期的数据，将输出到磁盘，以文件形式存放。当处理延迟话单时，必须先将其重新加载到内存中。因此，如何管理、存放这些话单关键域信息，直接关系到系统需要的存储大小以及剔重的效率。

现有的查重技术一般都是提取话单中的关键域信息组合，直接存放到内存的页面中，并使用哈希链表或者平衡二叉树方法检索话单关键域组合信息存放页面，判断是否为重复信息。

在一篇申请号为03145603.0的中国专利文件中公开了一种基于内存方式的话单剔重方法，包括：提取话单中的关键域信息，简单组合之后存放到内存的页面中，使用HASH链表方法或者平衡二叉树方法检索话单关键域组合信息存放页面，并进行判断是否为重复信息。

在一篇申请号为200610036536.4的中国专利文件中公开了一种消除文件存储系统中冗余文件的系统及方法，该消除文件存储系统中冗余文件的方法包括：通过扫描存储服务器模块获取文件的相关信息，包括文件的大小、文件引用数以及文件的ID，并计算文件内容的MD5值，并将文件的MD5值进行哈希运算后，通过内存哈希映射表找到相应的哈希表。如果该文件引用数超过阈值，则根据文件的MD5值以及文件的大小通过哈希表找出存储系统中冗余文件并进行删除。

现有的剔重技术存在的缺点可以概括为以下两点：

1、各类话单的关键域信息不一样，字段长度及相应的组合之后的长度均不一样，不易管理，可扩展性差，且一般关键域信息组合字段都比较长，占用存储大，同时也会在一定程序上影响剔重比较的效率。

2、简单的哈希链表或者平衡二叉树方法在处理海量数据(每天超过亿次话单，峰值每小时可达上千万条)时就显得效率依然不够，不能满足日益增长的通信业务需求。

发明内容

本发明的目的是提供一种话单剔重方法和装置，以解决现有的各类话单的关键域信息不一样、不易管理、可扩展性差，处理海量数据效率不够的问题。

为了实现以上目的，本发明提供了一种话单剔重方法，包括以下步骤：

步骤a：从话单中提取关键域信息；

步骤b：使用MD5算法对该关键域信息进行计算，生成该话单对应的MD5特征串；

步骤c：将所述MD5特征串，与索引文件中存储的、正常话单对应的MD5特征串进行比较，如果发现相同的MD5特征串，则该话单为重单，对该话单进行剔除，否则将所述MD5特征串保存至索引文件中，并确认该MD5特征串对应的话单为正常话单。

上述技术方案中，所述正常话单对应的MD5特征串以哈希表的方式存储于索引文件中；所述步骤c具体包括：

步骤c1：对话单对应的MD5特征串，根据设定的哈希函数进行哈希运算；

步骤c2：根据哈希运算得到的函数值，找到所述哈希表中的存储节点：

步骤c3：如果在该存储节点上找到与该话单对应的MD5特征串相同的MD5特征串，则该话单为重单，剔除该话单；否则，将该话单对应的MD5特征串插入到该存储节点中，并确认该话单为正常话单。

上述技术方案中，所述哈希表中的存储节点中的MD5特征串以链表的方式或者平衡二叉树的方式存储。

上述技术方案中，当所述哈希表中的存储节点中的MD5特征串以平衡二叉树的方式存储时，将所述话单对应的MD5特征串插入到该话单存储节点中的步骤包括：将该MD5特征串插入到该存储节点上的平衡二叉树上，若插入的MD5特征串使得所述平衡二叉树失去平衡时，则通过旋转进行调整。

优选地，当所述话单为正常话单时，则输出该话单，并输出更新后的索引增量文件。

优选地，所述索引文件及索引增量文件，存储于内存或磁盘中；若内存占用量超过制定数值，则合并索引增量文件，将索引文件中时间较早的部分存储到磁盘中，并自动释放内存；若需要将磁盘中的索引文件重新加载到内存时，则重新加载。