[发明专利]一种话单入库的系统及方法

说明书

技术领域

本发明涉及电信技术领域，特别涉及到在海量数据下实时准确地采集话单、入库话单的系统及方法。

背景技术

在电信业务领域中，随着业务需求量的爆炸性增长，带动了服务提供商(ServiceProvider，缩写为SP)对高额利润和高速发展的热情，越来越多的SP涌现，而使用业务的用户也不断增长。这样终端用户对业务的需求量和SP的大量涌现互相促进，使得短信业务管理系统中，产生的话单量成爆炸性的增长，在话单量较多的业务系统中，通常半年就会达到T级别，相应的话单增长的速度也大大提高了，已经达到甚至超过千条/秒。而短信业务系统需要提供给用户实时准确的话单查询功能，这就需要系统及时，准确的将这些话单转化入库，成为可以提供给用户实时查询的数据。同时用户界面的查询速度也需要得到保障，这就需要在相应的关键字段上建立索引。但实践证明建立索引后，数据大批量的转化导入的速度就会成倍的降低，这就有可能导致话单转化入库的速度跟不上话单的增长速度，所以就存在入库速度和提高查询速度的矛盾。而随着SP以及终端用户的一些需求的增加，又需要对话单进行不同的统计分析。

所以，现有技术在满足用户界面的查询速度时，很难保证将话单数据大批量的、快速的转换导入。而且为达到各种系统下分析统计的不同要求，需要为每一种需求单独建立一整套从入库到查询分析的系统，耦合性较高，不具备通用性。

发明内容

本发明所要解决的技术问题是，提供一种话单入库的系统及方法，用于解决海量话单快速实时入库和提高用户查询速度的矛盾，降低整个话单入库过程的耦合性。

为解决上述技术问题，本发明提出了一种话单入库的系统，它包括业务处理机、话单格式转换接口机、话单批量入库接口机、中间库和查询分析库；

所述话单格式转换接口机用来从业务处理机上下载原始话单并将原始话单进行格式转换；

所述话单批量入库接口机用来将格式转换后的话单导入到所述中间库；

所述中间库用来存放从所述话单批量入库接口机导入的话单；

所述查询分析库用来存放从所述中间库抽取的话单。

所述中间库设置有至少一个分表，用来存放从所述话单批量入库接口机导入的话单；所述查询分析库设置有至少一个分表，用来存放从中间库抽取的话单；所述中间库和所述查询分析库的分表之间存在对应关系；所述对应关系是一对多模式或者一对一模式。

所述中间库的每张分表都设置一个自增长的ID，所述自增长的ID用来定位上次抽取的位置；所述查询分析库的分表的关键字段上建立有索引；所述查询分析库设置有配置表，所述配置表用于存放上一次抽取结束时，读取到中间库每张表被抽取的数据的最大自增ID。

另，本发明还提供了一种话单入库的方法，它包括如下步骤：

步骤1、话单格式转换接口机从业务处理机上下载原始话单；

步骤2、话单格式转换接口机将原始话单转化为直接导入的话单格式，然后话单批量入库接口机将转换后的话单导入到中间库；

步骤3、查询分析库定时把中间库的数据抽取到查询分析库。

所述话单格式转换接口机对原始换单进行转换的具体步骤包括：所述话单格式转换接口机对原始换单进行转换，将原始话单中的话单信息按照所述中间库中的分表的字段顺序进行重新排列，转换完毕后删除业务处理解上下载的原始话单。

所述话单批量入库接口机将转换后的话单导入到所述中间库的具体步骤包括：所述话单批量入库接口机将转换后的话单用数据库系统提供的数据快速批量导入方式导入到中间库。

所述步骤3的具体步骤包括：

抽取开始，读取当前时间；

判断一，判断所述配置表中的最大自增ID是否小于要抽取的中间库中分表的最大自增ID；如果小于，进入下一个步骤，否则跳转到判断二步骤；

开始本次时间单位对应的中间表的抽取；

抽取结束，更新配置表中对应的最大ID；

判断二，判断是否处理到前N个时间单位的表，如果是则结束本次抽取，否则跳转到判断一步骤。

上述步骤中开始本次时间单位对应的中间表的抽取，具体步骤包括：根据时间和上次抽取的最大自增ID进行数据抽取即组装语句，在组装语句时，对中间库中原始数据的字段进行取舍和顺序调整。