[发明专利]数据清洗的方法及终端

说明书

本发明适用于计算机技术领域，提供了一种数据清洗的方法及终端，所述方法包括：当接收到对传统分红数据的清洗任务时，将所述清洗任务插入预设的任务执行表中，并设置所述清洗任务对应的执行时间；当所述执行时间到达时，通过Oracle数据库获取调度包，按照所述调度包，采用多并发的方式对保单信息进行数据清洗；将清洗后的保单信息分批次提交并存储至所述Oracle数据库中。本发明省去了文件格式相互转换的步骤，解决了现有技术对传统分红数据进行清洗时过程复杂、步骤冗余、效率低下问题，有效地提高了数据清洗的效率，降低了数据清洗的总体耗时。

技术领域

本发明属于计算机技术领域，尤其涉及一种数据清洗的方法及终端。

背景技术

在对传统分红数据进行清洗时，现有技术需要用户预先从数据库中下载待清洗的数据，将所述待清洗的数据生成txt文件，然后使用prophet软件进行计算。而prophet软件生成的文件需要再次转换成txt文件才能够上传至数据库中，且prophet软件的运算效率低，往往在清洗数据这个步骤也要花费12小时以上。可见，传统分红数据的清洗过程复杂、步骤冗余，效率十分低下。

因此，有必要提供一种新的技术方案，以解决上述技术问题。

发明内容

鉴于此，本发明实施例提供了一种数据清洗的方法及终端，以解决现有技术对传统分红数据进行清洗时过程复杂、步骤冗余、效率低下问题。

第一方面，提供了一种数据清洗的方法，所述方法包括：

当接收到对传统分红数据的清洗任务时，将所述清洗任务插入预设的任务执行表中，并设置所述清洗任务对应的执行时间；

当所述执行时间到达时，通过Oracle数据库获取调度包，按照所述调度包，采用多并发的方式对保单信息进行数据清洗；

将清洗后的保单信息分批次提交并存储至所述Oracle数据库中。

进一步地，所述采用多并发的方式对保单信息进行数据清洗包括：

读取并发配置表，根据所述并发配置表启动若干条并发进程；

求取保单信息对应的保单号的末位数字与并发进程总数之间的余数，将所述保单信息分配给所述余数对应的并发进程；

使用游标读取待处理的保单信息，将所读取的保单信息缓存至第一预设数组中，并分批次提交至所分配的并发进程，由所述并发进程按照预设的数据清洗算法对所述保单信息进行数据清洗。

进一步地，所述将清洗后的保单信息分批次提交并存储至所述Oracle数据库中包括：

将经并发进程清洗后的保单信息读出至第二预设数组中，采用commit命令分批次将该第二预设数组中的保单信息提交至Oracle数据库中；

按照每批次中的保单信息的执行时间和对应并发进程的进程编号，将该批次中的保单信息存储至Oracle数据库中对应的结果表中。

进一步地，在根据所述并发配置表启动若干条并发进程之后，所述方法还包括：

从日志表中获取所述清洗任务的状态信息；

若所述清洗任务的状态信息为执行成功，则不再执行本次清洗任务；

若所述清洗任务的状态信息为执行失败，则删除所述若干条并发进程中的已处理数据，并重新执行本次清洗任务。

进一步地，在读取并发配置表之前，所述方法还包括：

获取一二元配置表和保单信息基本配置表，根据所述一二元配置表和保单信息基本配置表从所述Oracle数据库中筛选出待清洗的保单信息；

读取开关配置表，根据所述开关配置表去除所述待清洗的保单信息中的无效数据。