[发明专利]一种提高数据清洗效率的方法、装置及设备

说明书

一种提高数据清洗效率的方法包括：接收数据清洗请求，所述数据清洗请求包括用户输入的查询关键字；根据查询关键字与查询字段所具有的相同的字数占查询字段总字数的比例，确定所述查询关键字与查询字段的相似度，根据所述相似度确定所述查询关键字所对应的查询字段；根据预设的联合索引中的查询字段的查询顺序，对所述查询关键字进行排序；根据排序后的查询关键字，对数据进行查询和清洗。由于用户可以任意输入查询关键字，即可快速的自动进行数据查找，有利于提高查找的便利性，节约查找时间，提高清洗效率。

技术领域

本发明属于数据处理领域，尤其涉及一种数据清洗效率的方法、装置及设备。

背景技术

在保险行业，每隔一段时间需要对数据进行清洗，即对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。比如每个月的月中和月底，对保险分红数据的清洗等。由于不同保险的分红日期不相同，并且保险单的数量巨大。比如平安保险公司的每月保险分红的数量高达3亿多条，并且，随着时间的推移，每月增长达数百万条之多。

对如此庞大的数据进行清洗时，需要测试人员对数据进行多次的查找和对比分析，以发现所存储的数据中的异常。由于数据量太大，导致测试人员查找数据时需要消耗的时间非常长，查找规范使得查找麻烦，查找效率非常低。

发明内容

有鉴于此，本申请实施例提供了提高数据清洗效率的方法、装置及设备，以解决现有技术中由于数据量太大，导致测试人员查找数据时需要消耗的时间非常长，查找麻烦，而且效率非常低的问题。

本申请实施例的第一方面提供了一种提高数据清洗效率的方法，所述提高数据清洗效率的方法包括：

接收数据清洗请求，所述数据清洗请求包括用户输入的查询关键字；

根据查询关键字与查询字段所具有的相同的字数占查询字段总字数的比例，确定所述查询关键字与查询字段的相似度，根据所述相似度确定所述查询关键字所对应的查询字段；

根据预设的联合索引中的查询字段的查询顺序，对所述查询关键字进行排序；

根据排序后的查询关键字，对数据进行查询和清洗。

结合第一方面，在第一方面的第一种可能实现方式中，所述对数据进行查询和清洗的步骤包括：

将查找的相似业务的数据结果进行统计，得到不同数据结果的项数所占的比例值；

将统计的比例值与预定的比例阈值进行比较，记录小于预定的比例阈值的比例值所对应的数据结果的单号。

结合第一方面，在第一方面的第二种可能实现方式中，所述对数据进行查询和清洗的步骤包括：

设定输入的查询关键字所对应的标准数据结果；

将所述查询关键字对应的数据结果与标准数据结果进行比较，记录出现差异的数据结果所对应的单号。

结合第一方面，在第一方面的第三种可能实现方式中，所述对数据进行查询和清洗的步骤包括：

获取接收所述数据清洗请求时的请求时间；

根据预设的请求时间与预定时段数据的对应关系，查找所述数据清洗请求所对应的预定时段数据；

对所述预定时段数据进行对比分析。

结合第一方面、第一方面的第一种可能实现方式、第一方面的第二种可能实现方式或第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述方法还包括：

统计所述查询关键字所对应的查询字段的查询频率；

根据所述查询字段的查询频率，调整所述联合索引中的查询字段的顺序。