[发明专利]用于半结构化数据的可扩展分析平台

摘要

一种数据变换系统包括模式推断模块和导出模块。所述模式推断模块被配置用于动态地创建用于从第一数据源检索到的对象的累积模式。所述检索到的对象中的每一个包括(i)数据和(ii)描述所述数据的元数据。动态地创建所述累积模式包括：针对所述检索到的对象中的每个对象，(i)从所述对象推断出模式以及(ii)选择性地更新所述累积模式以便根据推断出的模式来描述所述对象。所述导出模块被配置用于根据所述累积模式将所述检索到的对象的所述数据输出到数据目的地系统。

主权项

1.一种数据变换系统，其包括：模式推断模块，所述模式推断模块被配置为：动态地创建用于从第一数据源检索到的对象的累积模式，其中：所述检索到的对象中的每一个包括(i)数据和(ii)描述所述数据的元数据，并且动态地创建所述累积模式包括，针对所述检索到的对象中的每个对象，(i)从所述对象推断模式以及(ii)选择性地更新所述累积模式以便根据推断出的模式来描述所述对象；以及收集关于所述检索到的对象的数据类型的统计信息；以及基于关于数据类型的统计信息，确定检索到的对象的数据是否被正确地定类型；导出模块，所述导出模块被配置用于根据所述累积模式将所述检索到的对象的所述数据输出到数据目的地系统。