[发明专利]医疗数据ETL任务中的数据核查方法及装置

说明书

本申请实施例提供了一种医疗数据ETL任务中的数据核查方法及装置，包括：在配置医疗数据ETL任务的任务流程过程中，确定至少一个需要进行数据核查的目标数据抽取组件；对于每一目标数据抽取组件，在该目标数据抽取组件之后添加数据核查点标志；执行医疗数据ETL任务的任务流程，在执行完每一目标数据抽取组件之后，基于该数据抽取组件对应的数据核查配置信息对该数据抽取组件进行数据核查得到核查结果。该方案在确定需要进行数据核查的数据抽取组件时，在配置任务流程的过程中对各数据抽取组件进行数据核查，节约了核查时间，提高了核查效率，考虑了各数据抽取组件的业务类型和所需处理的数据量，数据核查的适用性更强，且映射关系调整的难度更低。

技术领域

本申请涉及计算机技术领域，具体而言，本申请涉及一种医疗数据ETL任务中的数据核查方法及装置。

背景技术

医疗数据的ETL（Extract-Transform-Load，抽取-转换-加载）任务中，数据抽取任务是指通过预先配置的数据映射关系将医疗数据从源端抽取到目标端。由于原始医疗数据的质量不高，且业务口径较多导致数据的规范性无法得到保证，另外使用之后由后续业务层面再来反馈ETL任务的配置问题，耗时多反馈链路较长，因此通常在使用之前需要对ETL中数据抽取的数据的规范性进行核查，从而确定数据抽取过程中预先配置的数据映射关系是否满足医疗数据ETL任务的需要，然后对数据映射关系进行调整。

现有技术中核查方式通常是在所有数据抽取到目标端后，再对目标端的医疗数据进行核查。然而医疗数据的ETL任务涉及的抽取数据量非常大，抽取完所有任务需要的数据后再做核查耗费的时间非常长，严重影响了数据映射关系的确定效率。同时，医疗数据的ETL任务类型以及所抽取的数据量表现出较强的多样性，因此亟需提出一种适应不同医疗数据ETL任务场景下的高效数据核查方法。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，本申请实施例所提供的技术方案如下：

第一方面，本申请实施例提供了一种医疗数据ETL任务中的数据核查方法，包括：

在配置医疗数据ETL任务的任务流程过程中，对于每一数据抽取组件，若该数据抽取组件对应的数据量级别达到预设数据量级别和该数据抽取组件对应的业务类型为预设业务类型，则确定该数据抽取组件为目标数据抽取组件；

对于每一目标数据抽取组件，在该目标数据抽取组件之后添加数据核查点标志，所述数据核查点标志用于指示该目标数据抽取组件对应的数据核查配置信息；

执行所述医疗数据ETL任务的任务流程，在执行至每一目标数据抽取组件时，将该目标数据抽取组件抽取到的数据存入预设临时表中，并基于所述数据核查点标志获取该目标数据抽取组件对应的数据核查配置信息，基于所述数据核查配置信息，对该目标数据抽取组件抽取的数据进行数据核查得到核查结果，若所述核查结果指示核查不通过，基于所述核查结果修改该目标数据抽取组件的映射关系。

在本申请的一种可选实施例中，该方法还包括：

在配置医疗数据ETL任务的任务流程过程中，基于ETL任务的业务需求，确定ETL任务中所包含的至少一对源端和目标端，并为每对源端和目标端配置对应的数据抽取组件。

在本申请的一种可选实施例中，为每对源端和目标端配置对应的数据抽取组件，包括：

基于每对源端和目标端中源端的数据结构和目标端的数据结构、以及业务需求，确定由源端数据到目标端数据的映射关系，并基于映射关系确定该对源端和目标端对应的数据抽取组件。

在本申请的一种可选实施例中，该方法还包括：

从目标数据抽取组件的映射关系所包含的目标端数据字段，确定出需要核查的目标端数据字段和对应的核查规则，并将需要核查的目标端数据字段和对应的核查规则作为数据核查配置信息按存储路径进行存储。