[发明专利]具有统一的后处理的ETL的并行加载操作

说明书

本公开涉及了在提取、转换、加载(ETL)操作期间执行并行加载操作的计算机实现的系统和方法。系统生成具有多个进程的单事务，其中每个进程加载到一个目标表中。所述进程被并行执行，并且系统对单事务执行验证。

技术领域

本公开涉及数据库系统，尤其涉及在分析数据库系统中的提取、转换、加载(extract，transform，load，ETL)进程。

背景技术

除非本文另有说明，否则本节中描述的方法不是本申请中权利要求的现有技术，并且不通过包含在本节中而被承认为现有技术。

数据库系统有多种类型，包括联机事务处理(online transaction processing，OLTP)系统、联机分析处理(online analytic processing，OLAP)系统等。OLTP系统可用于管理事务性数据，包括对事务性数据的插入操作、更新操作和删除操作。OLAP系统可用于事务性数据的分析；这样，OLAP系统可以对减少的事务性数据集合执行读取操作。例如，OLTP系统可以处理采购订单的事务性数据，包括采购订单标识符、日期、产品标识符、采购商标识符、价格、折扣等；OLAP系统可以处理采购订单数据的聚合，诸如按日期(例如，在给定的月份内)、按产品类型、按采购商等进行聚合。

OLAP系统通常使用提取、转换、加载(ETL)进程来导入由OLTP系统管理的事务性数据。提取通常是指选择事务性数据的子集。转换通常指对提取的数据应用一组规则或函数，以符合OLAP系统的预期输入。加载通常是指将转换后的数据从OLTP系统提供给OLAP系统的进程。

公开内容

鉴于上述情况，一些问题被提出。现有系统的一个问题是，客户通常希望对来自多个异构OLTP系统(或使用异构云存储系统存储事务性数据的OLTP系统)的事务执行分析。每个OLTP系统或每个云存储系统通常都涉及其自己的ETL操作。在这种情况下，协调每个ETL操作并验证每个ETL操作的成功是很麻烦的。例如，当需要将数据加载到云数据库并在加载后执行后处理时，许多现有系统对每个表使用单独的进程(例如，加载数据并后处理每个表作为特定于表的事务)。当需要将不同类型的数据作为一个事务加载和后处理时，这会导致事务控制的缺乏。尝试使用相同进程和单事务在多个表中加载/后处理数据会由于串行执行导致系统性能差。

在这种情况下，需要改进ETL进程。

如本文进一步描述的，实施例旨在从多个异构OLTP系统执行ETL。一般来说，实施例将整体ETL进程创建为单事务，并在单事务内生成多个操作系统(operating system，OS)进程。每个OS进程对应于具有单目标表的ETL操作。整体ETL进程可以并行执行OS进程。一旦操作系统进程完成，整体ETL进程将验证每个OS进程的成功。

在一个实施例中，一种执行数据处理的方法。该方法包括由ETL系统生成具有单事务标识符的单目标系统事务，作为执行ETL操作的一部分。该方法还包括由ETL系统生成具有单事务标识符的单目标系统事务，作为执行ETL操作的一部分。该方法还包括由ETL系统生成多个操作系统(OS)进程，其中，所述多个OS进程对应于ETL操作的多个加载操作，其中，所述多个加载操作的每个加载操作与多个目标表的一个目标表相关联。该方法还包括由ETL系统并行执行所述多个OS进程，其中，所述多个OS进程的每个OS进程与单事务标识符相关联，包括由ETL系统向OLAP系统传送所述多个加载操作的每个加载操作的配置信息。该方法还包括由OLAP系统根据所述多个加载操作的每个加载操作的配置信息加载所述多个目标表的每个目标表，作为OLAP系统中单目标系统事务的一部分。该方法还包括由OLAP系统向ETL系统传送加载所述多个目标表的多个结果。该方法还包括由ETL系统使用来自OLAP系统的多个结果来执行单目标系统事务的验证。