[发明专利]数据清洗的方法及终端

权利要求书

1.一种数据清洗的方法，其特征在于，所述方法包括：

当接收到对传统分红数据的清洗任务时，将所述清洗任务插入预设的任务执行表中，并设置所述清洗任务对应的执行时间；

当所述执行时间到达时，通过Oracle数据库获取调度包，按照所述调度包，采用多并发的方式对保单信息进行数据清洗；

将清洗后的保单信息分批次提交并存储至所述Oracle数据库中；

所述采用多并发的方式对保单信息进行数据清洗包括：

读取并发配置表，根据所述并发配置表启动若干条并发进程；

求取保单信息对应的保单号的末位数字与并发进程总数之间的余数，将所述保单信息分配给所述余数对应的并发进程；

使用游标读取待处理的保单信息，将所读取的保单信息缓存至第一预设数组中，并分批次提交至所分配的并发进程，由所述并发进程按照预设的数据清洗算法对所述保单信息进行数据清洗。

2.如权利要求1所述的数据清洗的方法，其特征在于，所述将清洗后的保单信息分批次提交并存储至所述Oracle数据库中包括：

将经并发进程清洗后的保单信息读出至第二预设数组中，采用commit命令分批次将该第二预设数组中的保单信息提交至Oracle数据库中；

按照每批次中的保单信息的执行时间和对应并发进程的进程编号，将该批次中的保单信息存储至Oracle数据库中对应的结果表中。

3.如权利要求1所述的数据清洗的方法，其特征在于，在根据所述并发配置表启动若干条并发进程之后，所述方法还包括：

从日志表中获取所述清洗任务的状态信息；

若所述清洗任务的状态信息为执行成功，则不再执行本次清洗任务；

若所述清洗任务的状态信息为执行失败，则删除所述若干条并发进程中的已处理数据，并重新执行本次清洗任务。

4.如权利要求1所述的数据清洗的方法，其特征在于，在读取并发配置表之前，所述方法还包括：

获取一二元配置表和保单信息基本配置表，根据所述一二元配置表和保单信息基本配置表从所述Oracle数据库中筛选出待清洗的保单信息；

读取开关配置表，根据所述开关配置表去除所述待清洗的保单信息中的无效数据。

5.一种终端，其特征在于，所述终端包括：

任务接收模块，用于当接收到对传统分红数据的清洗任务时，将所述清洗任务插入预设的任务执行表中，并设置所述清洗任务对应的执行时间；

并发清洗模块，用于当所述执行时间到达时，通过Oracle数据库获取调度包，按照所述调度包，采用多并发的方式对保单信息进行数据清洗；

存储模块，用于将清洗后的保单信息分批次提交并存储至所述Oracle数据库中；

所述并发清洗模块包括：

启动单元，用于读取并发配置表，根据所述并发配置表启动若干条并发进程；

分配单元，用于求取保单信息对应的保单号的末位数字与并发进程总数之间的余数，将所述保单信息分配给所述余数对应的并发进程；

清洗单元，用于使用游标读取待处理的保单信息，将所读取的保单信息缓存至第一预设数组中，并分批次提交至所分配的并发进程，由所述并发进程按照预设的数据清洗算法对所述保单信息进行数据清洗。

6.如权利要求5所述的终端，其特征在于，所述存储模块包括：

提交单元，用于将经并发进程清洗后的保单信息读出至第二预设数组中，采用commit命令分批次将该第二预设数组中的保单信息提交至Oracle数据库中；

存储单元，用于按照每批次中的保单信息的执行时间和对应并发进程的进程编号，将该批次中的保单信息存储至Oracle数据库中对应的结果表中。

7.如权利要求5所述的终端，其特征在于，所述终端还包括：

状态识别模块，用于在根据所述并发配置表启动若干条并发进程之后，从日志表中获取所述清洗任务的状态信息；若所述清洗任务的状态信息为执行成功，则不再执行本次清洗任务；若所述清洗任务的状态信息为执行失败，则删除所述若干条并发进程中的已处理数据，并重新执行本次清洗任务。

8.如权利要求5所述的终端，其特征在于，所述终端还包括：

筛选模块，用于在读取并发配置表之前，获取一二元配置表和保单信息基本配置表，根据所述一二元配置表和保单信息基本配置表从所述Oracle数据库中筛选出待清洗的保单信息；读取开关配置表，根据所述开关配置表去除所述待清洗的保单信息中的无效数据。