[发明专利]数据处理方法及装置、电子设备、存储介质

说明书

本公开是关于一种数据处理方法及装置、电子设备、存储介质，涉及医疗大数据技术领域，该方法包括：根据源数据库中的数据表的定义建立具有相同数据表结构的抽样库；通过目标数据库中的目标数据表的定义确定所述源数据库中各数据表之间的字段关系的集合；按照所述集合中的所述字段关系对所述源数据库中的数据表进行关联，并对关联后的数据表进行抽样得到样本数据；将所述样本数据存储至所述抽样库，以通过所述抽样库进行数据生产。本公开可以通过字段关系对源数据库中的数据表进行抽样，进而根据抽样数据提高数据生产效率。

技术领域

本公开涉及医疗大数据技术领域，具体而言，涉及一种数据处理方法、数据处理装置、电子设备以及计算机可读存储介质。

背景技术

在使用医疗数据时，经常需要对不同来源以及异构的数据进行生产，以得到具有统一规范结构的数据，便于后续业务逻辑处理。数据生产这一过程，包含数据抽取、转换、质检等几部分工作，以保证数据质量。

相关技术中进行数据生产时，在具体实现层面通常采用优化SQL写法或者将MapReduce任务改为Spark任务等方式；在基础架构层面，可通过对数据的存储格式进行优化或者对调度器进行参数优化等方式加快数据生产过程。

在上述方式中，对具体实现层面的改进，由于各生产环节的任务逻辑各异以及各生产环节的数据差异性较大，因此不具备普适性、应用范围较小；对基础架构层面改进时，由于操作难度较大，复杂度较高，不能有效提升数据生产效率。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据处理方法及装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的数据生产效率低的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种数据处理方法，包括：根据源数据库中的数据表的定义建立具有相同数据表结构的抽样库；通过目标数据库中的目标数据表的定义，确定所述源数据库中各数据表之间的字段关系的集合；按照所述集合中的所述字段关系对所述源数据库中的数据表进行关联，并对关联后的数据表进行抽样得到样本数据；将所述样本数据存储至所述抽样库，以通过所述抽样库进行数据生产。

在本公开的一种示例性实施例中，通过目标数据库中的目标数据表的定义，确定所述源数据库中各数据表之间的字段关系的集合包括：通过所述源数据库中各数据表与所述目标数据库中各目标数据表之间的关联关系，确定所述源数据库中各数据表之间的字段关系的集合。

在本公开的一种示例性实施例中，所述源数据库中的数据表包括第一类型表和第二类型表。

在本公开的一种示例性实施例中，按照所述集合中的所述字段关系对所述源数据库中的数据表进行关联，并对关联后的数据表进行抽样得到样本数据包括：对于所述第一类型表，抽取所述第一类型表中的所有数据作为样本数据。

在本公开的一种示例性实施例中，按照所述集合中的所述字段关系对所述源数据库中的数据表进行关联，并对关联后的数据表进行抽样得到样本数据包括：对于所述第二类型表，根据所述字段关系构建关联关系树；依次按照所述关联关系树中的各个节点对所有第二类型表进行抽样，以得到所述样本数据。

在本公开的一种示例性实施例中，根据所述字段关系构建关联关系树包括：将所有包含预设字段的第二类型表作为起始表，并根据所述起始表与剩余的第二类型表之间的字段关系构建所述关联关系树。

在本公开的一种示例性实施例中，依次按照所述关联关系树中的各个节点对所有第二类型表进行抽样包括：按照所述关联关系树中的各个节点，对所有包含所述预设字段的所述第二类型表进行抽样，得到所述样本数据。