[发明专利]一种数据湖仓处理加速的方法、系统及设备

权利要求书

1.一种数据湖仓处理加速的方法，其特征在于，包括：

获取预先架构的主引擎和副引擎的性能统计信息；所述主引擎和所述副引擎搭载在不同的处理器上，且所述主引擎通过协处理器将接口注册在所述副引擎的功能模块中；

通过所述性能统计信息监控所述主引擎中的I/O热点或计算热点；

在监控到所述主引擎中的I/O热点或计算热点时，在所述副引擎上执行I/O重定向或计算重定向。

2.根据权利要求1所述的方法，其特征在于，所述I/O重定向，包括：

将所述主引擎中的I/O重定向到副引擎，以使所述副引擎代替所述主引擎执行数据访问功能。

3.根据权利要求2所述的方法，其特征在于，进行I/O重定向前，所述方法还包括：

将所述主引擎中的主要数据进行预计算、抽取，以在存储节点中生成所述主要数据对应的附加数据；所述附加数据作为所述副引擎执行数据访问功能时的缓存与索引数据。

4.根据权利要求1所述的方法，其特征在于，所述计算重定向，包括：

确定主引擎原执行计划中的计算热点对应的热点算子；

将主引擎原执行计划中的热点算子转移到副引擎中并替换为更新算子；

生成更新执行计划，所述更新执行计划包括主引擎中的本地执行计划和副引擎中的远程执行计划；

将所述更新执行计划在所述主引擎和所述副引擎上进行分布式执行。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述副引擎中生成与所述更新算子配套的输入算子和输出算子；

所述本地执行计划和所述远程执行计划通过所述输入算子和输出算子进行连接；所述输入算子用于接收所述主引擎的数据输入；所述输出算子用于向所述主引擎进行数据输出。

6.根据权利要求5所述的方法，其特征在于，所述本地执行计划包括：执行主引擎原执行计划中除热点算子外的剩余算子；

所述远程执行计划包括：

执行副引擎中的更新算子、输入算子和输出算子。

7.根据权利要求1所述的方法，其特征在于，所述副引擎的功能模块至少包括：索引、缓存、算子加速和UDF加速。

8.根据权利要求1所述的方法，其特征在于，所述主引擎搭载在通用处理器上；

所述副引擎搭载在专用加速处理器上。

9.一种数据湖仓处理加速的系统，其特征在于，包括：

主引擎、副引擎和引擎调度模块；

所述主引擎和所述副引擎搭载在不同的处理器上，且所述主引擎通过协处理器将接口注册在所述副引擎的功能模块中；

所述引擎调度模块分别连接所述主引擎和所述副引擎；

所述引擎调度模块获取主引擎和副引擎的性能统计信息；通过所述性能统计信息监控所述主引擎中的I/O热点或计算热点；在监控到所述主引擎中的I/O热点或计算热点时，在所述副引擎上执行I/O重定向或计算重定向。

10.一种数据湖仓处理加速的设备，其特征在于，包括：

处理器和存储器；

所述处理器与存储器通过通信总线相连接：

其中，所述处理器，用于调用并执行所述存储器中存储的程序；

所述存储器，用于存储程序，所述程序至少用于执行权利要求1-8任一项所述的一种数据湖仓处理加速的方法。