[发明专利]数据清洗方法、装置、计算机设备及存储介质

说明书

本申请公开了一种数据清洗方法，应用于数据处理技术领域。本申请提供的方法包括：获取包含目标系统的目标数据库以及所述目标数据库的目标数据表的目标数据清洗任务；获取所述目标系统的部署环境的数量；根据所述部署环境的数量以及所述部署环境的硬件资源性能拆分所述目标数据清洗任务得到数据获取任务列表；按照预设数据获取规则执行所述数据获取任务加入待处理数据表集合；根据所述目标数据清洗任务中对所述目标数据表生成数据处理任务列表；执行所述数据处理任务列表中的数据处理任务，将被处理后的所述目标数据表作为待更新数据表；根据预设数据更新规则获取所述待更新数据表，并将所述待更新数据表更新至所述目标系统的部署环境。

技术领域

本申请涉及数据处理技术领域，尤其涉及数据清洗方法、装置、计算机设备及存储介质。

背景技术

在数据处理技术领域，广泛存在需要对目标系统的目标数据库中的数据进行数据清洗的需求，将历史遗留的脏数据进行处理或对历史数据做出其他方面的处理以满足业务需求。

但是，现有的数据清洗技术的执行过程中，一方面对源数据的读取操作对数据库产生了较大的访问压力，造成了数据库堵塞从而引发生产事故；另一方面数据清洗过程中会引发并发问题，造成重复读取和重复处理的操作，进而产生了资源浪费的情况。

发明内容

本申请实施例提供一种数据清洗方法、装置、计算机设备及存储介质，以解决现有数据清洗技术造成的数据库堵塞和重复处理的问题。

本申请的第一方面，提供一种数据清洗方法，包括：

获取目标数据清洗任务，所述数据清洗任务包含目标系统的目标数据库，以及所述目标数据库的目标数据表；

获取所述目标系统的所有部署环境，每个所述部署环境中包含了所述目标数据库，以及所述目标数据表；

生成数据获取任务列表，所述数据获取任务列表是根据获取的所述部署环境的硬件资源性能拆分所述目标数据清洗任务得到的；

按照预设数据获取规则执行所述数据获取任务列表中的数据获取任务以获取所述目标数据表，并将获取的所述目标数据表加入待处理数据表集合；

生成数据处理任务列表，所述数据处理任务列表是根据所述目标数据清洗任务中对所述目标数据表的不同处理方式生成的；

执行所述数据处理任务列表中的数据处理任务，将被处理后的所述目标数据表作为待更新数据表加入待更新数据表集合；

根据预设数据更新规则获取所述待更新数据表集合中的所述待更新数据表，并将所述待更新数据表更新至所述目标系统的所有部署环境。

本申请的第二方面，提供一种数据清洗装置，包括：

数据清洗任务获取模块，用于获取目标数据清洗任务，所述数据清洗任务包含目标系统的目标数据库，以及所述目标数据库的目标数据表；

部署环境获取模块，用于获取所述目标系统的所有部署环境，每个所述部署环境中包含了所述目标数据库，以及所述目标数据表；

数据获取任务模块，用于生成数据获取任务列表，所述数据获取任务列表是根据获取的所述部署环境的硬件资源性能拆分所述目标数据清洗任务得到的；

数据获取执行模块，用于按照预设数据获取规则执行所述数据获取任务列表中的数据获取任务以获取所述目标数据表，并将获取的所述目标数据表加入待处理数据表集合；

数据处理任务模块，用于生成数据处理任务列表，所述数据处理任务列表是根据所述目标数据清洗任务中对所述目标数据表的不同处理方式生成的；

数据处理执行模块，用于执行所述数据处理任务列表中的数据处理任务，将被处理后的所述目标数据表作为待更新数据表加入待更新数据表集合；