[发明专利]一种提高数据清洗效率的方法、装置及设备

权利要求书

1.一种提高数据清洗效率的方法，其特征在于，所述提高数据清洗效率的方法包括：

接收数据清洗请求，所述数据清洗请求包括用户输入的查询关键字；所述数据清洗是指过滤不符合要求的数据；所述数据清洗请求，为用户在输入查询关键字后触发的异常数据查询请求；

根据查询关键字与查询字段所具有的相同的字数占查询字段总字数的比例，确定所述查询关键字与查询字段的相似度，根据所述相似度确定所述查询关键字所对应的查询字段；

根据预设的联合索引中的查询字段的查询顺序，对所述查询关键字进行排序；

根据排序后的查询关键字，对数据进行查询和清洗，包括：获取接收所述数据清洗请求时的请求时间；根据预设的请求时间与预定时段数据的对应关系，查找所述数据清洗请求所对应的预定时段数据；对所述预定时段数据进行对比分析，设定输入的查询关键字所对应的标准数据结果；将所述查询关键字对应的数据结果与标准数据结果进行比较，记录出现差异的数据结果所对应的单号；

统计所述查询关键字所对应的查询字段的查询频率；

根据所述查询字段的查询频率，调整所述联合索引中的查询字段的顺序。

2.根据权利要求1所述的提高数据清洗效率的方法，其特征在于，所述对数据进行查询和清洗的步骤包括：

将查找的相似业务的数据结果进行统计，得到不同数据结果的项数所占的比例值；

将统计的比例值与预定的比例阈值进行比较，记录小于预定的比例阈值的比例值所对应的数据结果的单号。

3.一种提高数据清洗效率的装置，其特征在于，所述提高数据清洗效率的装置包括：

请求接收单元，用于接收数据清洗请求，所述数据清洗请求包括用户输入的查询关键字；所述数据清洗是指过滤不符合要求的数据；所述数据清洗请求，为用户在输入查询关键字后触发的异常数据查询请求；

查询字段查找单元，用于根据查询关键字与查询字段所具有的相同的字数占查询字段总字数的比例，确定所述查询关键字与查询字段的相似度，根据所述相似度确定所述查询关键字所对应的查询字段；

排序单元，用于根据预设的联合索引中的查询字段的查询顺序，对所述查询关键字进行排序；统计所述查询关键字所对应的查询字段的查询频率；根据所述查询字段的查询频率，调整所述联合索引中的查询字段的顺序；

清洗单元，用于根据排序后的查询关键字，对数据进行查询和清洗，包括：获取接收所述数据清洗请求时的请求时间；根据预设的请求时间与预定时段数据的对应关系，查找所述数据清洗请求所对应的预定时段数据；对所述预定时段数据进行对比分析；所述清洗单元包括：标准数据结果设定子单元，用于设定输入的查询关键字所对应的标准数据结果；第二单号记录子单元，用于将所述查询关键字对应的数据结果与标准数据结果进行比较，记录出现差异的数据结果所对应的单号。

4.根据权利要求3所述的提高数据清洗效率的装置，其特征在于，所述清洗单元包括：

比例值确定子单元，用于将查找的相似业务的数据结果进行统计，得到不同数据结果的项数所占的比例值；

第一单号记录子单元，用于将统计的比例值与预定的比例阈值进行比较，记录小于预定的比例阈值的比例值所对应的数据结果的单号。

5.一种提高数据清洗效率的设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1或2所述提高数据清洗效率的方法的步骤。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1或2所述提高数据清洗效率的方法的步骤。