[发明专利]数据探查方法、装置、设备及存储介质

说明书

本公开提供了一种数据探查方法、装置、设备及存储介质。该方法包括：将不同类型数据库中的数据导入预设类型的数据库中；对所述预设类型的数据库的数据库表及所述数据库表中的字段进行映射，生成所述数据库表对应的实体类；以及基于所述实体类的属性及对应的属性值，对所述预设类型的数据库中的数据进行数据探查操作，生成所述数据的探查结果。该方法能够自动进行数据探查操作，生成数据探查结果。

技术领域

本公开涉及数据技术领域，尤其涉及一种数据探查方法、装置、设备及存储介质。

背景技术

随着业务数据在各领域内的积累，信息资源数量众多、形式多样且分布广泛，企业对数据价值的重视程度越来越高。数据价值的挖掘建立在结构化与半结构化数据库基础之上。因此，需要对企业业务数据建立可应用的数据集成仓库，形成组织合理的、可高效使用的数据主题及维度指标。在数据仓库建立前，需要对源数据进行探查分析，分析数据字典分布，发现数据异常。

相关技术中主要为人工编写SQL(Structured Query Language，结构化查询语句)，逐个探查数据库表中每个字段数据内容、分布情况，评估数据质量，如空值率，内容不合规等情况。在数据库选型不同的情况下，无法用统一的编码方式进行探索。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种数据探查方法、装置、设备及存储介质，能够自动进行数据探查操作，生成数据探查结果。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提供一种数据探查方法，包括：将不同类型数据库中的数据导入预设类型的数据库中；对所述预设类型的数据库的数据库表及所述数据库表中的字段进行映射，生成所述数据库表对应的实体类；以及基于所述实体类的属性及对应的属性值，对所述预设类型的数据库中的数据进行数据探查操作，生成所述数据的探查结果。

根据本公开的一实施方式，所述数据探查操作包括：统计所述数据的字段空值率和/或分析所述数据的字段内容分布。

根据本公开的一实施方式，基于所述实体类的属性及对应的属性值，对所述预设类型的数据库中的数据进行数据探查操作，生成所述数据的探查结果，包括：在对所述数据进行数据探查操作时，基于所述数据的列的唯一标识，对所述数据进行查询；以及对各列的查询结果进行聚合，生成所述数据的探查结果。

根据本公开的一实施方式，所述数据的探查结果是基于配置信息中的输出维度信息和/或输出指标信息生成。

根据本公开的一实施方式，所述数据库表中的字段基于配置信息进行了字段约束处理。

根据本公开的一实施方式，上述方法还包括：基于配置信息，对所述数据的探查结果进行统计，生成用于展示的图形；在用户界面中展示所述图形；基于所述配置信息，对所述数据的探查结果进行处理；以及将处理后的所述数据的探查结果，输出为预设模板的文件。

根据本公开的一实施方式，所述预设类型的数据库为基于HDFS文件系统的数据库。

根据本公开的另一方面，提供一种数据探查装置，包括：数据导入模块，用于将不同类型数据库中的数据导入预设类型的数据库中；实体类生成模块，用于对所述预设类型的数据库的数据库表及所述数据库表中的字段进行映射，生成所述数据库表对应的实体类；以及结果生成模块，用于基于所述实体类的属性及对应的属性值，对所述预设类型的数据库中的数据进行数据探查操作，生成所述数据的探查结果。

根据本公开的再一方面，提供一种计算机设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现如上述任一种方法。