[发明专利]管理数据摄取

说明书

一种用于管理数据摄取的方法、系统和计算机程序产品。该系统包括用于摄取原始数据的可插拔架构信道服务(例如，推送/拉取信道服务)。该系统还包括用于将所摄取的原始数据转换成公共格式(诸如例如键值对)的可插拔架构格式化器(102)。该系统还包括具有允许消费者定义所摄取的数据集合上的多个实体的功能的EAV存储(103)。因此，数据可被摄取而没有数据损失，无需定义提取逻辑，并且无需定义存储模式。

相关申请的交叉引用

不适用

背景

1.背景和相关技术

计算机系统及相关技术影响社会的许多方面。的确，计算机系统处理信息的能力已转变了人们生活和工作的方式。现在，计算机系统通常执行在计算机系统出现以前人工执行的许多任务(例如，文字处理、日程安排、帐目管理等)。最近，计算机系统彼此耦合并耦合到其他电子设备以形成计算机系统及其他电子设备可在其上传输电子数据的有线和无线计算机网络。因此，许多计算任务的执行被分布在多个不同的计算机系统和/或多个不同的计算环境中。

向计算机系统提供的数据可来自任何数目的不同源，诸如例如用户输入、文件、数据库、应用、传感器等。在一些环境中，计算机系统从各种不同的域和/或垂直信息(vertical)接收(潜在地大量的)数据。数据还可被以各种不同的格式来接收。

向计算机系统提供的数据通常以提取、变换和加载(ETL)技术来访问。ETL指的是从数据源提取数据、将该数据变换成符合操作需求、并将该数据加载到最终目标的过程。ETL系统可用于集成来自多个不同的源的数据，诸如例如来自不同的供应商的数据、被主存在不同的计算机系统上的数据等等。

ETL本质上是提取并随后存储的过程。在实现ETL解决方案之前，用户先定义要将什么数据(例如，数据子集)从数据源中提取出以及将如何存储所提取的数据的模式。在ETL过程期间，定义的数据(例如，数据子集)被提取、被变换成该模式(即，模式被用于进行写)的形式并被加载到数据存储中。为了访问来自数据源的不同数据，用户必须重新定义将提取什么数据。为了改变数据如何被存储，用户必须定义新的模式。

ETL是有利地，因为它允许用户以期望格式访问数据的期望部分。然而，由于数据需要演变，因此ETL可能是麻烦的。所提取的数据和/或数据存储的每一次改变都导致ELT过程必须被重启。

简要概述

本发明涉及用于管理数据摄取的方法、系统和计算机程序产品。本发明的各方面包括摄取采用一个(例如，行)数据格式的数据，并将所摄取的数据格式化成公共格式以供存储。数据被摄取并格式化，而无需预先知道提取逻辑或存储模式。

提供该概述以便以简化形式介绍概念的选集，所述概念在以下详细描述中被进一步描述。本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。

本发明的附加特征和优点将在以下描述中叙述，并且其一部分根据本描述将是显而易见的，或者可通过对本发明的实践来获知。本发明的特征和优点可通过在所附权利要求书中特别指出的工具和组合来实现和获得。本发明的这些以及其它特征、优点和特征将根据以下描述和所附权利要求而变得更显而易见，或者可通过如此后阐述的对本发明的实践而获知。

附图简述

为了描述可获得本发明的上述和其它优点和特征的方式，将通过参考附图中示出的本发明的具体实现来对以上简要描述的本发明进行更具体描述。可以理解，这些附图仅描述本发明的一些实现，从而不被认为是对其范围的限制，本发明将通过使用附图用附加特征和细节来描述和说明，在附图中：

图1示出促成管理数据摄取的示例计算机体系结构。

图2示出用于管理数据摄取的示例方法的流程图。