[发明专利]一种面向国产异构众核处理器的TensorFlow框架核心计算加速引擎

说明书

本发明公开一种面向国产异构众核处理器的TensorFlow框架核心计算加速引擎，独立设置于TensorFlow框架与多个众核计算加速库之间，包括以下功能模块：算子接口模块，用于将运行流程转入核心计算加速引擎；分析调度模块，用于分析算子类型和算子参数特性，将算子参数封装为各个众核计算加速库的参数结构，并根据算子类型调用不同的众核计算加速库，当同种算子类型有多种算子实现时，根据算子参数特点自动选择最优的实现方式并进行调用；调试模块，用于记录各个算子的运行时间，从算子层面分析模型推理或训练过程的性能表现。本发明可充分发挥国产异构众核强大的强大计算能力，提供自动化的深度学习任务核心加速能力。

技术领域

本发明涉及一种面向国产异构众核处理器的TensorFlow框架核心计算加速引擎，属于高性能计算技术领域。

背景技术

国产异构众核处理器具有超高的计算性能，其软件系统有多种深度优化的计算加速库，主要包括SWDNN、SWBlas、众核数学库等等，这些计算加速库能充分利用国产异构众核处理器的高性能。

Tensorflow框架是当前应用非常广泛的一个深度学习库，提供了丰富的编程接口支持深度学习领域的各种计算任务，该框架主要支持的处理器后端包括多核CPU、众核的GPU以及机器学习专用芯片TPU；TensorFlow框架对CPU、GPU、TPU等处理器后端的核心计算加速也是通过调用高性能算子库实现的，但缺乏对国产异构众核处理器的支持，如何高效利用异构众核架构上的多种核心计算加速库以实现对Tensorflow框架的性能提升是一个挑战。

TensorFlow原生代码缺乏对国产异构众核处理器的支持，如果简单移植无法充分利用异构众核架构的计算能力。一般采用直接在TensorFlow的核心代码中调用各种众核加速库来提升深度学习任务的性能的方式，但是这种方式会带来很多麻烦。

首先由于TensorFlow框架的复杂性，直接调用加速库会增加代码修改难度，也会因为影响框架的默认流程而造成许多不可预知的问题，这种方式不能有效剥离平台无关和平台相关代码；其次，由于众核加速库的多态性，在调用加速库时要考虑多种适应性情况，这时候需要有独立的代码逻辑来进行核心计算的特性分析和加速核心的自适应调用。

发明内容

本发明的目的是提供一种面向国产异构众核处理器的TensorFlow框架核心计算加速引擎，其可充分发挥国产异构众核强大的强大计算能力，提供自动化的深度学习任务核心加速能力。

为达到上述目的，本发明采用的技术方案是：提供一种面向国产异构众核处理器的TensorFlow框架核心计算加速引擎，独立设置于TensorFlow框架与多个众核计算加速库之间，包括以下功能模块：

算子接口模块，提供一系列标准化的算子调用接口，用于修改TensorFlow框架中的kernel层代码，供需要加速的算子实现调用，从而将运行流程转入核心计算加速引擎；

分析调度模块，用于分析算子类型和算子参数特性，将算子参数封装为各个众核计算加速库的参数结构，并根据算子类型调用不同的众核计算加速库，当同种算子类型有多种算子实现时，根据算子参数特点自动选择最优的实现方式并进行调用；

调试模块，用于定位算子错误，进一步包括算子控制单元、非数定位单元和算子日志单元；

算子控制单元，通过环境变量的方式打开或关闭各个算子的计算流程，如某算子关闭，则该算子计算通过TensorFlow框架的默认流程进行计算，通过调试模块快速定位各个算子的正确性问题；

非数定位单元，通过算子计算开始和结束后的检查代码监测是否有非数产生，从而定位非数产生的第一现场；

算子日志单元，用于输出模型运行过程中的所有算子列表和参数；

性能分析模块，用于记录各个算子的运行时间，从算子层面分析模型推理或训练过程的性能表现。

上述技术方案中进一步改进的方案如下：