[发明专利]数据库半自动化构建方法、计算机可读介质

说明书

本发明公开了数据库半自动化构建方法、计算机可读介质；方法具体包括：(1)设计数据血缘关系表；(2)自动检查数据血缘表的潜在错误，提供优化建议；(3)将数据血缘关系表中的简单逻辑转换为SQL脚本，困难逻辑在脚本中以注释形式标注；(4)补充SQL脚本复杂逻辑并对整个SQL脚本完成逻辑校验后，自动对SQL脚本抽取出的数据进行稽核。数据库半自动化构建方法对数据血缘信息进行了加工，并依赖SQL语法规范严谨的性质，辅以自然语言处理中的内容相似度评判技术，对非同名关联条件字段的血缘信息进行再加工，基于加工后的血缘信息使用算法辅助人工搭建数据库，具有精简流程、规范代码格式、提高代码正确率、降低数据稽核难度以及提高效率的有益技术效果。

技术领域

本发明属于半自动化运维技术领域，具体涉及数据库半自动化构建方法、计算机可读介质。

背景技术

数据库是数字化项目的基石，数据库的构建和运维既重要又繁琐。随着数据治理的提出，数据库的构建流程正在逐渐规范化和统一化，规范化和统一化又为自动化提供了基础。为了分析数据变更的影响以及排查数据问题，数据血缘关系理论被提出，数据血缘属于元数据的一部分，揭示了数据的来源、加工方式、映射关系以及数据出口。

现有技术中，在构建数据库时自动化程度极低，从整理血缘信息，编写SQL脚本，再到数据稽核基本全都是由人工手动编写。这种方法存在错误率高，格式规范统一程度低，耗时长，出现问题时难定位等问题，如人工编写可能出现笔误或者低级错误，所以问题类型和发生区域均不确定，且消耗多人力资源。

发明内容

有鉴于此，一方面，一些实施例公开了数据库半自动化构建方法，用于辅助数据库的全程搭建，达到精简流程，规范代码格式，提高代码正确率，降低数据稽核难度，以及提高效率的目的。数据库半自动化构建方法具体包括：

(1)设计数据血缘关系表；

(2)自动检查数据血缘表的潜在错误，提供优化建议；

(3)将数据血缘关系表中的简单逻辑转换为SQL脚本，困难逻辑在脚本中以注释形式标注；

(4)补充SQL脚本复杂逻辑并对整个SQL脚本完成逻辑校验后，自动对SQL脚本抽取出的数据进行稽核。

进一步，作为可选实施例，数据库半自动化构建方法中，(1)设计数据血缘关系表具体包括：

(1-1)：对于每条字段，列出数据库中同层次的表中与该字段同名的字段的血缘关系进行筛选；若选择了符合需求的可参考的历史血缘信息，则将此字段的血缘信息以特定格式写入血缘表；若无法选择符合需求的可参考的历史血缘信息，则根据字段注释或字段中文名在上一层次的所有表中所有的字段进行匹配；

(1-2)：对于复杂的取值转换方法，应在取值备注列注明，将可翻译的取值备注自动翻译成SQL语言，其余形式的取值备注被以注释形式加在SQL脚本的对应字段的下方；

(1-3)：对于复杂的关联关系，应在关联备注列注明，将可翻译的关联备注自动翻译成SQL语言，其余形式的关联备注以注释形式加在SQL脚本的对应关联语句的下方；

(1-4)：对于子查询，应在“子查询表名列”注明子查询表名，并设计子查询表的血缘，自动构建子查询的SQL语句，并用语句“WITH子查询表名AS(子查询SQL语句)”定义子查询表后，即可在主查询内引用该子查询表；若子查询表以临时表的形式被引用，则可用语句“CREATE TABLE子查询表名AS(子查询SQL语句)”在整个SQL脚本的最开头创建临时表，并在整个SQL脚本的最末尾用语句“DROPTABLE IF EXISTS子查询表名”删除临时表。