[发明专利]异构系统、数据处理方法及装置

说明书

技术领域

本发明实施例涉及数据处理领域，特别涉及一种异构系统、数据处理方法及装置。

背景技术

异构系统是指将使用不同类型的指令集合和体系架构的计算单元组成计算系统的计算方式。常见的异构系统包括中央处理器(Central Processing Unit，CPU)类计算设备、图形处理器(Graphics Processing Unit，GPU)类计算设备和现场可编程门阵列(Field Programmable Gate Array，FPGA)计算设备。

每种计算设备在执行数据处理任务时具有各自擅长的类型，当异构系统中的管理设备接收到数据处理任务时，管理设备根据数据处理任务的类型将数据处理任务分配给异构系统中相应的计算设备进行处理。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：在分配数据处理任务时，只考虑了数据处理任务的任务类型。当计算设备的空心资源较少且被分配了较多的数据处理任务，而其他种类的计算设备具有空闲资源时，降低了异构系统的计算效率。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种异构系统、数据处理方法及装置。该技术方案如下：

第一方面，提供了一种异构系统，该异构系统包括管理设备和n种计算设备，每个所述计算设备包括至少一种计算卡，n为大于等于2的整数；

所述管理设备，用于根据数据处理任务对应的数据处理算法，从所述n种计算设备中确定具有执行所述数据处理任务的能力的计算设备；将所述数据处理算法分解为至少两个类型的处理算核，并根据所述处理算核的类型将所述数据处理任务划分为若干个预定处理任务；根据功效比和能效比从所述计算设备中确定出目标计算设备；将所述预定处理任务发送至所述目标计算设备；接收所述目标计算设备发送的处理结果，并组合所述处理结果得到最终处理结果；

所述目标计算设备，用于执行所述预定处理任务

可选的，所述管理设备，还用于将所述预定处理任务发送至集中式运算集群中的至少一个服务器和/或分布式运算集群中的至少一个普通计算机；

其中，所述集中式运算集群中包括至少一种计算卡，所述分布式运算集群中包括至少一种计算卡。

可选的，所述至少一种计算卡包括中央处理器CPU类计算卡、图像处理器GPU类计算卡、现场可编程门阵列FPGA类计算卡和数字信号处理DSP类计算卡中的至少一种。

第二方面，提供了一种数据处理方法，应用于包括管理设备和n种计算设备的异构系统中，每个所述计算设备包括至少一种计算卡，n为大于等于2的整数，该方法包括：

根据数据处理任务对应的数据处理算法，从所述n种计算设备中确定具有执行所述数据处理任务的能力的计算设备；

将所述数据处理算法分解为至少两个类型的处理算核，并根据所述处理算核的类型将所述数据处理任务划分为若干个预定处理任务；

根据功效比和能效比从所述计算设备中确定出目标计算设备，所述目标计算设备用于执行所述预定处理任务；

将所述预定处理任务发送至所述目标计算设备；

接收所述目标计算设备发送的处理结果，并组合所述处理结果得到最终处理结果。

可选的，所述将所述预定处理任务发送至所述目标计算设备，包括：

将所述预定处理任务发送至集中式运算集群中的至少一个服务器和/或分布式运算集群中的至少一个普通计算机；

其中，所述集中式运算集群中包括至少一种计算卡，所述分布式运算集群中包括至少一种计算卡。

可选的，所述至少一种计算卡包括中央处理器CPU类计算卡、图像处理器GPU类计算卡、现场可编程门阵列FPGA类计算卡和数字信号处理DSP类计算卡中的至少一种。

第三方面，提供了一种数据处理装置，该装置包括：

第一确定单元，用于根据数据处理任务对应的数据处理算法，从n种计算设备中确定具有执行所述数据处理任务的能力的计算设备，每个所述计算设备包括至少一种计算卡，n为大于等于2的整数；

分解单元，用于将所述数据处理算法分解为至少两个类型的处理算核，并根据所述处理算核的类型将所述数据处理任务划分为若干个预定处理任务；

第二确定单元，用于根据功效比和能效比从所述计算设备中确定出目标计算设备，所述目标计算设备用于执行所述预定处理任务；

发送单元，用于将所述预定处理任务发送至所述目标计算设备；

组合单元，用于接收所述目标计算设备发送的处理结果，并组合所述处理结果得到最终处理结果。