[发明专利]用于交互式数据准备应用的多个数据集的相关增量加载

说明书

一种用户界面，其包括数据流窗格和配置文件窗格。数据流窗格显示标识数据源的流程图。对于针对数据源的多个查询中的每一个查询，该过程以初始块大小异步地针对数据源发出查询。在检索到初始行集时，该过程以更新的块大小异步重复查询，直到检索到所有行。该过程周期性地为已针对所有查询检索到的来自数据源的行确定高水位线。当水位线更改时，该过程更新配置文件窗格以显示数据源中多个数据字段的数据值直方图。每个数据值直方图中的每一条都对在水位线以下的具有单个特定数据值或数据值范围的行进行计数。

技术领域

所公开的实现方式通常涉及数据可视化，且更具体地涉及准备和整理用于由数据可视化应用进行使用的数据的系统、方法和用户界面。

背景

数据可视化应用使用户能够在视觉上理解数据集，包括分布、趋势、异常值、和对做出业务决策很重要的其他因素。一些数据集是非常大的或复杂的，且包括许多数据字段。可以使用各种工具来帮助理解和分析数据，包括具有多个数据可视化的仪表板。然而，数据经常需要被操纵或改动以将其置于可以容易被数据可视化应用使用的格式中。有时各种ETL(提取/转换/加载)工具被用来构建可用的数据源。

当今在ETL和数据准备空间中有两种占优势的模型。数据流程风格系统使用户聚焦于在整个系统中的数据的操作和流程上，这帮助提供在工作的整体结构上的清楚，并使用户控制那些步骤变得更容易。然而，这些系统通常对向用户显示其实际数据工作做得很差，这使用户实际上理解对他们的数据做什么或者需要做什么变得很难。这些系统也可能遭受节点的激增。当每个小操作在图中得到其自己的节点时，甚至中等复杂的流程也可能变成节点和边的令人混乱的老鼠窝(a confusing rat’s nest)。

另一方面，波特轮风格系统给用户显现对其实际数据的非常具体的电子表格风格界面，并允许用户通过直接的动作来对其数据造型。当用户实际上在这些系统中创造数据流程时，该流程通常被阻塞，使用户理解和控制他们的工作的整体结构变得很难。

对于大型数据集，一些数据准备工具加载数据非常慢。例如，可能有多个同步运行的查询，因此用户必须等待加载所有数据。一些系统试图通过异步运行查询来加载数据，从而减少对缓慢的感知。然而，异步加载仍然排除了用户与数据的交互，并且界面可能显示不一致的数据，因为界面独立地为每个单独的异步查询显示数据。

概述

公开的实现以几种方式解决了现有数据准备工具的问题。运行多个异步查询减少了加载数据的时间，并且来自多个查询的数据得到了协调，因此用户界面始终显示一致的数据。此外，在加载数据时，用户可以立即与数据进行交互，以进行所需的更改。这些更改会应用于已经显示的数据，当查询中的新数据到达时，同样的更改也会应用于新的数据行。

根据一些实施方式，一种用于为后续分析准备数据的计算机系统具有一个或更多个处理器和存储器。存储器存储被配置为由一个或更多个处理器执行的一个或更多个程序。一个或更多个程序包括可执行指令。系统显示用户界面，该用户界面包括数据流窗格、配置文件窗格和数据窗格。数据流窗格显示标识数据源的节点/链接流程图。对于针对数据源的多个查询中的每一个查询，系统以指定行数的初始块大小异步地针对数据源发出查询。当从数据源中检索到满足相应查询的初始行集时，系统以更新的块大小异步重复查询，直到检索到满足查询的所有行。系统将满足相应查询的检索行存储在本地高速缓存中。系统周期性地(例如，基于计时器或由从多个查询中的一个查询接收到查询结果而被触发)确定唯一的标识符，该唯一的标识符标识来自数据源的已经针对所有查询被检索并存储在本地高速缓存中的行。这个唯一的标识符有时被称为高水位线(high water mark)。当唯一的标识符发生更改时，系统更新配置文件窗格，以显示数据源中多个数据字段的数据值直方图。每个数据值直方图中的每个条指示来自数据源的行的计数，这些行(i)由唯一的标识符指定，并且(ii)对于相应的数据字段具有单个特定数据值或数据值范围。这样，在多个独立的查询异步运行时，系统在配置文件窗格中提供一致的数据视图。