[发明专利]发布到数据仓库

说明书

一种用于生成可执行应用程序的方法，该可执行应用程序用于将数据进行转换并加载到结构化数据集中，该方法包括接收元数据文件，该元数据文件指定用于将从联网数据源接收的数据馈送结构化到结构化数据库中的参数的值。该元数据文件指定用于转换这些数据馈送的逻辑规则。验证这些参数的值和用于转换该多个数据馈送的这些逻辑规则，以确保每个数据馈送的逻辑一致性。根据这些参数的经验证值和逻辑规则来生成数据规则，这些数据规则指定用于转换每个数据馈送的标准。生成可执行应用程序，该可执行应用程序被配置为：从一个或多个数据源接收包括数据馈送的源数据，并根据这些数据规则将该源数据转换为满足该结构化数据记录的该一个或多个标准的结构化数据。

优先权声明

本申请根据35U.S.C.§119(e)要求于2018年7月19日提交的美国专利申请序列号62/700,684的优先权，该美国专利申请的全部内容通过引用并入本文。

技术领域

本申请描述了用于生成、更新和维护将数据进行转换并加载到数据仓库中的软件的系统和方法。

背景技术

数据仓库包括用于容纳通常来自多个不同源的数据的系统。例如，数据仓库可以存储从多个源接收的数据，并且其中一些源的类型可能与其他源不同。

发明内容

在将数据存储在数据仓库中之前，对数据进行预处理以便符合数据仓库的标准。数据可能具有标识其记录的键值；可以检查这些键值的引用完整性，或用在目标数据仓库中的引用系统内一致的替代键值来替换这些键值。可以根据常规历史化方案对数据进行转换，以便表示数据的变化历史。数据可以用与诸如其加载时间、修改时间或当前状态等属性相关的附加信息来修饰。可以将数据与数据仓库中的现有记录合并，以更新信息、提供缺失的信息和纠正错误。可以将数据加载到目标表和辅助历史表。由编译器生成、更新和维护用于实现这些预处理任务的代码，该编译器接收指定逻辑规则和参数的值的元数据文件，这些规则和参数由目标数据仓库给出并指定要在运行时执行的动作，这些动作用于对传入数据进行转换，使得以某种方式(例如，结构化数据在要存储该结构化数据的仓库中保持数据完整性和/或读优化)对该数据进行结构化。

在一方面，描述了一种用于自动生成应用程序的过程，该应用程序用于将数据进行转换并加载到结构化数据集中，该结构化数据集用于存储来自一个或多个联网数据源的数据。该过程包括接收指定参数的值以及用于转换数据馈送的逻辑规则的至少一个元数据文件，其中，将从联网数据源接收每个数据馈送，并将结果加载到结构化数据集中。该过程包括：验证这些参数的值和用于转换该多个数据馈送的这些逻辑规则对于每个数据馈送是一致的；根据这些参数的经验证值和用于将这些数据馈送中的每个数据馈送转换为结构化数据记录的经验证逻辑规则来生成数据规则，这些数据规则指定一个或多个标准。该过程包括至少生成用于运行时环境的数据处理应用程序。所生成的数据处理应用程序可被配置为：从一个或多个数据源接收包括数据馈送的源数据，并根据所生成的数据规则将该源数据转换为满足该结构化数据记录的该一个或多个标准的结构化数据。

在一些实施方式中，数据处理应用程序包括数据流图、数据流子图或多个数据流图。在一些实施方式中，该结构化数据集包括数据库。

通常，该源数据包括数据记录，并且该元数据文件中的参数指定该数据记录的、表示该源数据的该数据记录的键值的字段。在一些实施方式中，该元数据文件中的参数指定表示该源数据的键值的字段与该结构化数据记录的表示该结构化数据记录的另一键值的另一字段之间的映射。该元数据文件中的参数指定该键值的格式，并且其中，该键值被转换为具有由该参数指定的格式。

在一些实施方式中，该过程包括从数据存储中检索参数的默认值，以及基于该参数的默认值定义这些数据规则。通常，逻辑规则为该结构化数据记录的字段指定格式，该字段包括数据历史值。在一方面，该数据历史值包括指示包括该数据历史值的该结构化数据记录的更新时间的时间戳。

在一些实施方式中，接收该元数据文件包括：解析该元数据文件的标题行，以确定哪些参数具有该元数据文件中的指定值。