[发明专利]医疗数据ETL任务中的数据核查方法及装置

权利要求书

1.一种医疗数据ETL任务中的数据核查方法，其特征在于，包括：

在配置医疗数据ETL任务的任务流程过程中，对于每一数据抽取组件，若该数据抽取组件对应的数据量级别达到预设数据量级别和该数据抽取组件对应的业务类型为预设业务类型，则确定该数据抽取组件为目标数据抽取组件；

对于每一目标数据抽取组件，在该目标数据抽取组件之后添加数据核查点标志，所述数据核查点标志用于指示该目标数据抽取组件对应的数据核查配置信息；

执行所述医疗数据ETL任务的任务流程，在执行至每一目标数据抽取组件时，将该目标数据抽取组件抽取到的数据存入预设临时表中，并基于所述数据核查点标志获取该目标数据抽取组件对应的数据核查配置信息，基于所述数据核查配置信息，对该目标数据抽取组件抽取的数据进行数据核查得到核查结果，若所述核查结果指示核查不通过，基于所述核查结果修改该目标数据抽取组件的映射关系。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在配置所述医疗数据ETL任务的任务流程过程中，基于所述ETL任务的业务需求，确定所述ETL任务中所包含的至少一对源端和目标端，并为每对源端和目标端配置对应的数据抽取组件。

3.根据权利要求2所述的方法，其特征在于，所述为每对源端和目标端配置对应的数据抽取组件，包括：

基于每对源端和目标端中源端的数据结构和目标端的数据结构、以及所述业务需求，确定由源端数据到目标端数据的映射关系，并基于所述映射关系确定该对源端和目标端对应的数据抽取组件。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

从所述目标数据抽取组件的映射关系所包含的目标端数据字段，确定出需要核查的目标端数据字段和对应的核查规则，并将所述需要核查的目标端数据字段和对应的核查规则作为数据核查配置信息按存储路径进行存储。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在基于所述核查结果修改该目标数据抽取组件的映射关系之后，重复执行所述医疗数据ETL任务的任务流程，对该目标数据抽取组件抽取的数据进行数据核查得到核查结果，若核查结果指示核查不通过，则基于核查结果修改该目标数据抽取组件的映射关系的步骤，直至所述核查结果指示核查通过。

6.一种医疗数据ETL任务中的数据核查装置，其特征在于，包括：

目标数据抽取组件确定模块，用于在配置医疗数据ETL任务的任务流程过程中，对于每一数据抽取组件，若该数据抽取组件对应的数据量级别达到预设数据量级别和该数据抽取组件对应的业务类型为预设业务类型，则确定该数据抽取组件为目标数据抽取组件；

数据核查点标志添加模块，用于对于每一目标数据抽取组件，在该目标数据抽取组件之后添加数据核查点标志，所述数据核查点标志用于指示该目标数据抽取组件对应的数据核查配置信息；

数据核查模块，用于执行所述医疗数据ETL任务的任务流程，在执行至每一目标数据抽取组件时，将该目标数据抽取组件抽取到的数据存入预设临时表中，并基于所述数据核查点标志获取该目标数据抽取组件对应的数据核查配置信息，基于所述数据核查配置信息，对该目标数据抽取组件抽取的数据进行数据核查得到核查结果，若所述核查结果指示核查不通过，基于所述核查结果修改该目标数据抽取组件的映射关系。

7.一种电子设备，其特征在于，包括存储器和处理器；

所述存储器中存储有计算机程序；

所述处理器，用于执行所述计算机程序以实现权利要求1至5中任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法。