[发明专利]一种基于数据库的剔重方法及系统

摘要

本发明涉及一种基于数据库的剔重方法及系统，其方法具体包括以下步骤：步骤1：读取话单文件中的所有话单，获取每条话单的索引信息，将所有索引信息写入Hbase；步骤2：根据Hbase中索引信息判断话单文件中的话单是重单或正常单，将重单记录写入到重单文件；将正常单写入正常剔重出口。本发明使用安全性、稳定性、扩展性且部署廉价的Hbase来存储历史索引，通过定制的剔重索引算法，解决多剔重能力并发处理。同时，本发明涉及算法将剔重分为索引入Hbase数据库和重单确认两个独立的模块，实际应用中可才分部署进一步提高剔重效率。

主权项

1.一种基于数据库的剔重方法，其特征在于，具体包括以下步骤：步骤1：读取话单文件中的所有话单，获取每条话单的索引信息，将所有索引信息写入Hbase；步骤2：根据Hbase中索引信息判断话单文件中的话单是重单或正常单，将重单记录写入到重单文件；将正常单写入正常剔重出口；所述步骤1具体包括以下步骤：步骤1.1：读取话单文件中的一条话单为当前话单，获取当前话单的索引信息；步骤1.2：将当前话单的索引信息写入Hbase，并将索引信息写入Hbase的时间存入数据库；步骤1.3：判断话单文件是否还有未读取话单，如果有，执行步骤1.1；否则，执行步骤2；所述步骤2具体包括以下步骤：步骤2.1：在Hbase中选取一个传统索引字符串为当前字符串，读取Hbase中的具有此当前字符串的所有索引信息；步骤2.2：判断所有所述索引信息是否为一条索引信息，如果是，确定此索引信息对应的话单为正常单，执行步2.4；否则，执行步骤2.3；步骤2.3：根据索引信息和索引信息写入Hbase的时间判断此索引信息对应的话单是否为重单，如果是，将重单记录写入到重单文件，执行步骤2.4；否则，执行步骤2.4；步骤2.4：判断Hbase中是否还有未选取的传统索引字符串，如果是，执行步骤2.1；否则，将正常单写入正常剔重出口，结束。