[发明专利]数据处理方法和数据处理系统

说明书

本发明公开了一种数据处理方法和数据处理系统，数据处理系统包括数据平台和与数据平台通信连接的应用系统，数据处理方法包括：获取应用系统的元数据表，元数据表包括应用元数据信息；根据应用元数据信息、数据平台中存储的元数据信息和执行日志，获取多个节点信息和对应多个节点信息的多个属性信息；根据数据平台和应用系统获取节点关系信息，节点关系信息用于表示多个节点信息之间的映射关系；根据多个节点信息、多个属性信息和节点关系信息，建立图数据库。上述数据处理方法，可通过图数据库将数据平台和应用系统中的节点信息和与其相关的其它任一节点信息建立联系，从而可直接查询到所有相关的其它节点信息和属性信息。

技术领域

本发明涉及数据库技术领域，特别涉及一种数据处理方法和数据处理系统。

背景技术

传统的血缘存储方式为父/子关系两列的二维结构，这种结构难以遍历整个链路，往往需要使用递归算法，扫描效率低且容易具有内存溢出、不可控、写法复杂的问题。而且，对于业务系统、数据平台、报表平台等，其各自有一套存储元数据的系统，彼此之间相互割裂，在其中一个出现故障的情况下，就需要进行手工梳理，容易导致工作量大、更新不及时、容易疏漏等问题，且无法直观表现其它系统或平台受到的影响。

发明内容

本发明的实施方式提供了一种数据处理方法和数据处理系统。

本发明实施方式提供一种数据处理方法，用于数据处理系统，所述数据处理系统包括数据平台和与所述数据平台通信连接的应用系统，所述数据处理方法包括：获取所述应用系统的元数据表，所述元数据表包括应用元数据信息；根据所述应用元数据信息、所述数据平台中存储的元数据信息和执行日志，获取多个节点信息和对应所述多个节点信息的多个属性信息；根据所述数据平台和所述应用系统获取节点关系信息，所述节点关系信息用于表示多个所述节点信息之间的映射关系；根据所述多个节点信息、所述多个属性信息和所述节点关系信息，建立图数据库。

上述数据处理方法中，在建立图数据库的情况下，可将数据平台和应用系统中的节点信息和与其相关的其它任一节点信息建立联系，从而可使得图数据库根据确定的节点信息直接查询到所有相关的其它节点信息和属性信息，查询速度快，且能够确保不会遗漏信息。

在某些实施方式中，获取所述应用系统的元数据表，包括：以预设周期将所述应用系统的元数据表同步至所述数据平台。

在某些实施方式中，所述应用系统包括报表和数据集，所述数据集用于表示多个所述应用元数据信息之间的映射关系，所述节点关系信息包括第一节点链路信息，根据所述数据平台和所述应用系统获取节点关系信息，包括：所述应用系统根据所述报表和所述数据集，生成报表面板；所述应用系统根据所述报表面板和所述报表，生成包含关系；所述应用系统根据所述数据集获取输入表，根据所述输入表和所述报表面板生成应用节点关系；所述应用系统根据所述包含关系和所述应用节点关系，生成所述第一节点链路信息。

在某些实施方式中，所述节点关系信息包括第二节点链路信息，根据所述数据平台和所述应用系统获取节点关系信息，包括：所述数据平台根据所述执行日志获取映射列表，根据所述映射列表生成所述第二节点链路信息。

在某些实施方式中，所述节点信息包括表节点和对应的日期信息，所述数据平台根据所述执行日志获取映射列表，根据所述映射列表生成所述第二节点链路信息，包括：在检测到所述表节点被更新的情况下，将对应的所述日期信息更新为所述表节点更新时的日期。

在某些实施方式中，所述数据平台根据所述执行日志获取映射列表，根据所述映射列表生成所述第二节点链路信息，包括：对所述执行日志进行语句解析，得到待处理语句；在检测到所述待处理语句中的关键词的情况下，根据所述关键词对所述待处理语句进行处理，得到所述映射列表。