[发明专利]从物理流生成逻辑表示

说明书

背景技术

存在用于处理分析流的许多执行引擎。这些引擎可仅接受以特定编程语言(例如， PigLatin、结构化查询语言(SQL))写的、或使用特定流设计工具(例如，Pentaho数 据整合(PDI)平台)设计的输入流。此外，即使支持相同编程语言或流设计工具的 数据分析引擎也可能提供分析操作等的不同实现方式，且因此针对输入流可能具有引 擎专用需求。在今天的异构分析环境中，由于这些限制，可能很难对分析流进行管理， 尤其是在分析流是包括针对不同引擎的多个子流的混合流时更难。

附图说明

下面的详细描述涉及附图，其中：

图1示出根据示例的生成逻辑表示的方法。

图2示出根据示例的用于生成逻辑表示的处理系统的概览。

图3示出根据示例的用于生成逻辑表示的字典。

图4示出根据示例的用于生成逻辑表示的字典的图解。

图5示出根据示例的逻辑运算符的字典条目。

图6示出根据示例的更新字典的方法。

图7示出根据示例的生成逻辑表示的计算系统。

图8示出根据示例的用于生成逻辑表示的计算机可读介质。

具体实施方式

如本文所描述的，可从一个或多个物理分析流生成逻辑分析流(本文称为“逻 辑表示”)。物理流包括诸如实现类型、资源、存储路径等的实现细节，且专用 于一种执行引擎。物理流可以用特定的编程语言写成，或者可以用特定的流设计 工具设计。物理流还可以是混合流，其包括针对不同执行引擎的多个子流。比较 而言，生成的逻辑流可包括用逻辑语言写的逻辑运算符，且可以是引擎不可知的， 意味着其不是设计用于在任何专用执行引擎上运行。

存在生成物理流的引擎不可知的逻辑表示的许多优势。例如，在混合流的情 况下，如果将流以一个表示写成单个流，则可更容易地理解流并对流进行管理。 在采用逻辑表示时混合流可被优化，且可分解成更适于在给定执行环境(其可包 括多个异构引擎)中执行的不同子流。即使对于非混合流，生成物理流的逻辑表 示也可提供流的有用的抽象，且可使流能够转换成另一种物理形式，以供在与最 初专用的执行引擎不同的执行引擎上执行。

根据示例，实现本文描述的原理的技术可包括将与至少一个执行引擎关联的 第一物理流解析成多个元素。第一物理流可以是与多个异构执行引擎关联的混合 流。可通过将多个元素转换成用逻辑语言表示的逻辑元素，使用字典生成物理流 的逻辑表示。字典可包括逻辑语言和与至少一个执行引擎关联的编程语言之间的 映射。随后，可使用字典从逻辑表示生成第二物理流。下面结合附图描述附加示 例、优势、特征和修改等。

图1示出根据示例的生成逻辑表示的方法。方法100可由计算设备、系统、 或计算机实施，例如由处理系统200、计算系统700、或计算机800实施。实现方 法100的计算机可读指令可存储在计算机可读存储介质上。存储在介质上的这些 指令本文可称为“模块”，且可由计算机执行。

这里将结合图2的示例处理系统200描述方法100。系统200可包括一个或多 个计算机，和/或可由一个或多个计算机实现。例如，计算机可以是服务器计算机、 工作站计算机、台式计算机、便携式电脑或移动设备，等等，且可以是分布式系 统的一部分。计算机可包括一个或多个控制器以及一个或多个机器可读存储介质。

控制器可包括实现机器可读指令的处理器和存储器。处理器可包括至少一个 中央处理单元(CPU)、至少一个基于半导体的微处理器、至少一个数字信号处理 器(DSP)(例如，数字图像处理单元)、适用于获取并执行存储器中存储的指令 的其他硬件设备或处理元件、或其结合。处理器可包括一个芯片上的单个或多个 核、多个芯片上的多个核、多个设备上的多个核、或其结合。处理器可从存储器 提取、解码、并执行指令，以实施各种功能。除获取并执行指令之外或者作为获 取并执行指令的替代，处理器可包括：包括实施各种任务或功能的多个电子部件 的至少一个集成电路(IC)、其他控制逻辑、其他电子电路、或其结合。