[发明专利]SQL脚本元数据的更新方法、装置及系统

说明书

技术领域

本发明涉及元数据管理领域，具体涉及一种SQL脚本元数据的更新方法、装置及系统。

背景技术

数据仓库领域的元数据管理需要确保元数据的及时更新，以反映数据仓库系统的最新情况。当抽取、转换、装载ETL(Extract，transform，load，简称ETL)和数据处理过程的程序块发生修改后，就需要更新该程序块相应的SQL脚本元数据。元数据更新过程可划分为两个环节：首先是一个自动解析的过程，解析该程序块中包含的SQL脚本，获取其数据流语义并转换为元数据；然后是一个元数据入库的过程，将所生成的元数据按一定的规则写入元数据存储库。

第一个环节的自动解析过程通过三个步骤来完成，步骤一：直接从ETL和数据处理过程的程序代码中提取、从数据库日志中提取或者从ETL和数据处理过程的运行日志中提取ETL和数据处理过程的SQL脚本；步骤二：利用编译技术对这些SQL脚本进行词法、语法和语义分析，生成抽象语法树，以此作为语义分析的基础；步骤三：对SQL脚本的抽象语法树进行语义分析，获取其数据流语义信息并转换成元数据。第二个环节是SQL脚本元数据入库过程，每个元数据对象入库时，需要根据对象命名对元数据存储库中的对象进行匹配；如果找不到相同命名的对象，则认为这是一个新增的对象，将其添加到元数据存储库中；如果找到相同命名的对象，则认为这是同一个对象，这时需要考虑采用积极策略还是保守策略来处理，其中，积极策略是以新生成的对象的所有属性值覆盖元数据存储库中的老对象的属性值，以新对象的关联关系替换老对象的关联关系，保守策略则不改动老对象的属性值和关联关系，只填写老对象的空属性值并追加关联关系。

当新增程序块第一次运行时，元数据存储库中并没有该程序块的SQL脚本元数据。该程序块所输出的SQL脚本经过解析处理后生成元数据，并添加到元数据存储库中。当这些程序块重复运行时，如果继续解析处理程序块运行所输出的SQL脚本，则获取的元数据在入库处理时就存在如何与存储库中已存在的元数据合并的问题。由于SQL脚本的元数据对象并没有确定的命名方式可以对其进行唯一标识，利用对象命名与存储库中已存在的对象进行匹配是很不可靠的，不能据此找到同一个SQL脚本元数据对象，导致更新效率不高。如果程序块发生修改，修改后的程序块需要进行元数据更新，这些元数据入库时同样遇到如何与元数据存储库中已有元数据合并的问题。此外，如果程序块存在多条运行路径，当次运行就只能输出了其中一条运行路径的SQL脚本，使得解析这些SQL脚本所生成的元数据并不能完整描述整个程序块中的SQL脚本数据流语义。

现有SQL脚本元数据更新方案存在如下不足：

(1)在元数据入库时，以对象命名进行匹配，进而决定元数据是否入库，难以确保当ETL和数据处理过程程序块重复运行或者发生修改时元数据更新的质量，更新效率不高；

(2)当次运行只能输出了一条运行路径的SQL脚本记录在运行日志中，且以对象命名进行匹配，导致根据运行日志获取SQL脚本时，在程序块中存在分支、循环的情况下很难确保元数据更新的质量，更新效率不高。

发明内容

本发明的第一目的是提出一种效率高的SQL脚本元数据的更新方法。

本发明的第二目的是提出一种效率高的SQL脚本元数据的更新装置。

本发明的第三目的是提出一种效率高的SQL脚本元数据的更新系统。

为实现上述第一目的，本发明提供了一种SQL脚本元数据的更新方法，包括：解析程序块中包含的SQL脚本，获取元数据；判断SQL脚本与元数据库已记录SQL脚本是否为同一脚本；在判定为不同脚本时，将元数据更新至元数据库。

为实现上述第二目的，本发明提供了一种SQL脚本元数据的更新装置，包括：解析模块，用于解析程序块中包含的SQL脚本，获取元数据；判断模块，用于判断SQL脚本与元数据库已记录SQL脚本是否为同一脚本；处理模块，用于在判定为不同脚本时，将元数据更新至元数据库。

为实现上述第三目的，本发明提供了一种SQL脚本元数据的更新系统，包括：元数据库，用于记录SQL脚本的元数据及SQL脚本的修改信息；SQL脚本元数据的更新装置，用于解析SQL程序块中包含的SQL脚本获取元数据；并判断SQL脚本与元数据库已记录SQL脚本是否为同一脚本；以及在判定为不同脚本时，将元数据更新至元数据库。

本发明各个实施例中，在判定是否为同一SQL脚本后进行元数据的更新操作，避免了现有技术中在元数据入库时以对象命名进行匹配而导致更新效率不高的不足，提升更新效率。

附图说明