[发明专利]用于查询数据源的系统和方法

说明书

相关申请的交叉引用

本申请根据35U.S.C.119(e)要求于2015年3月26日提交的美国临时专利申请序列号62/138,450的优先权，其内容通过引用整体并入本文。

技术领域

本公开涉及数据处理领域，更具体地，涉及从多个数据源/布局查询数据，以及清理、转换和聚合数据以返回查询结果。

背景技术

数据库(或数据仓库)是被设计为便于信息检索和分析的数据存储库。提取、转换和加载(ETL)是在数据库中填充数据所需的过程。数据是从同构数据源或异构数据源中提取的。将提取的数据转换为适当的格式或结构，并将转换后的数据加载到数据库中的表中以供查询和分析。这种方法被称为“写模式”(schema-on-write)。如果从各种数据源提取的数据的格式或结构有很大的变化，这个过程是繁琐的，可能是复杂的。此外，随着数据表数量的增加，表本身需要改变，与存储和管理结构以及存储的数据相关联的成本也增加。

数据查询是指从数据库发出信息请求。具有适当索引的预定义结构以及正确定位查询以有效地仅获取请求的信息的能力是使数据库如此强大的原因。存在各种形式的查询(posing query)，诸如从菜单中选择参数，实例查询(QBE)和使用查询语言。使用查询语言，诸如结构化查询语言(SQL)，需要了解数据库结构、业务概念和一般查询编程语言，因此并不是每个人都可即时设计新的查询。即使除了直接使用查询语言的查询方法，查询语言也通常涉及幕后生成查询。

预先定义所有事物以将数据存储在数据库中的刚性和需求、在将数据加载到数据库之前管理异常和清理所有内容的复杂性会影响任何数据解决方案的成本和灵活性。因此，需要改进用于访问存储在数据源中的数据的方法和系统。

此外，数据管理行业存在着使用非结构化基础来存储数据的转变，使用脚本来管理不同的数据结构，以及使用类似的脚本来转换和处理数据。这种方法被称为“读取模式”(schema-on-read)，有时一般称为NoSQL、Hadoop或Big Data。由于没有结构化的脚本，管理结构的复杂性和依赖性已经从数据库管理员转移到熟练的程序员。因此，还需要改进结构和维护方法。

发明内容

本文描述了用于从一个或多个数据源获得结果而不需要在执行查询之前提取、转换和加载数据到数据库中的方法和系统。数据可以保留其原始格式并保留在其初始位置，并使用动态生成的查询语句来提供对数据的选择性访问。可同时访问多个数据源，每个数据源对于存储的数据具有其自己的格式。方法的一般结构和视觉特性促进了查询的更新。

生成查询语句以通过定义用于给定查询的数据源、目标字段和参数来从各种数据源获得数据(查询结果)。语句包括递归应用的预定义操作，以将数据源中的数据转换(有时聚合)到查询结果中。可以保存查询语句和查询结果以供以后(如果适用)与信息文件一起使用，以确定所用的源、参数和查询语句。

如果新查询包括相同的数据源和相同的参数，并且数据源没有改变，则保存的查询结果可被重复使用(即用于重新生成查询结果)。如果新查询包含相同的数据源和相同的参数但数据源已改变，则保存的查询语句也可重用。在这种情况下，可删除先前保存的查询结果，并且可与新的信息文件一起生成新的查询结果。

保存的查询语句可用作新的查询语句的数据源。这将创建一个递归和级联架构，从而语句可从不同的来源拉取(pull)原始数据，并生成查询结果，以作为其他查询结果的来源。

该系统本质上是“拉取式”(pull-type)系统，由此在需要时拉取数据，而不是“推式”系统，由此将数据推入数据库以备以后访问。拉取函数在来自各种数据源的数据转换中是递归的，以生成结果。保存的语句和保存的结果用于递归和级联架构。

根据第一广泛的方面，提供了一种用于从数据源查询数据的方法。该方法包括接收第一查询请求并生成对应于第一查询请求的第一查询语句，第一查询语句标识至少一个第一数据源；至少一个第一目标字段；第一查询参数；以及具有相关属性的多个嵌套操作。所述方法进一步包括：使用所述第一查询参数访问所述至少一个第一数据源来执行所述第一查询语句；使用所述嵌套操作中的至少一个从所述至少一个第一数据源中的给定字段中检索数据；以及使用剩余的嵌套操作将检索到的数据转换成至少一个目标结果。该方法还包括通过用至少一个目标结果填充至少一个目标字段来生成第一查询结果。