[发明专利]基于异构平台执行深度神经网络的系统及方法

说明书

本发明提出了一种基于异构平台执行深度神经网络的系统及方法，用于解决现有技术中存在的基于异构平台执行深度神经网络的速度较低和对于模型的兼容性较差的技术问题，实现步骤为：(1)模型解析模块对DNN模型进行解析；(2)分析模块根据解析结果构建计算图；(3)平台检测模块检测异构平台中的异构计算单元的硬件参数；(4)任务分配模块构建任务分配策略并进行优化；(5)推理模块根据最优任务分配策略对异构计算单元进行任务分配，得到执行DNN模型的结果。本发明解析模块支持解析主流深度学习框架的模型格式，提高了系统对于不同框架模型的兼容性，任务分配模块提供最优任务分配策略，提高了深度神经网络的执行速度。

技术领域

本发明属于深度神经网络技术领域，涉及一种执行深度神经网络的系统及方法，具体涉及一种基于异构平台执行深度神经网络的系统及方法，可用于目标检测、人脸识别和语音识别等领域。

背景技术

随着人工智能的飞速发展，以深度神经网络为代表的深度学习技术取得了显著的成果，深度神经网络技术在目标检测、人脸识别和语音识别等领域都已经有了非常广泛的应用，而随着大数据领域的兴起，深度神经网络对硬件设备的计算能力的需求也在不断提升。深度神经网络模型的训练阶段需要喂入大量的训练数据集，在训练的循环过程中，通常需要对一个输入进行上亿次计算，对硬件设备的算力有很高的需求，而在深度神经网络的推理阶段不仅对算力有着高要求，还对推理速度有较高的要求，在通用处理器CPU有限的计算资源下实现计算密集型的深度神经网络的效率非常低，在很多具有高实时性要求的应用场景下存在很大的限制性。而针对深度神经网络计算任务单一，计算密度大，数据重复计算量大的特点，通用处理器和专用处理器组合起来进行异构计算成为了大趋势，相较于单一计算设备，异构计算能够提供更高的算力和能效比，专用处理器包括图形处理器GPU，现场可编程逻辑门阵列FPGA,嵌入式神经网络处理器NPU等。

深度神经网络中的算子在不同的硬件计算单元上的执行性能和功耗有时存在很大的差异，比如CPU适合处理逻辑性较强的任务，GPU、NPU执行计算密集、高并行型的算子的运行性能更好，FPGA能够很好地满足低功耗高性能的需求等，通过将算子分配给适合的异构计算单元，由每个异构计算单元执行各自分配到的算子。如今，由多个异构计算单元组成的异构平台已经被广泛应用于执行深度神经网络。例如，申请公开号为CN111143051A，名称为“通过异构资源执行人工神经网络来执行任务的系统和方法”的专利申请，公开了一种通过异构资源执行人工神经网络来执行任务的系统和方法，通过接收人工神经网络模型并输出基于包括至少一个子图的人工神经网络模型生成的子图信息，检测多个异构资源的感知信息，基于子图信息和感知信息将用于针对人工神经网络中每个网络层执行任务的请求信号输出到多个异构资源，最终完成人工神经网络的推理。

该发明存在的不足之处在于，接收神经网络模型过程中不能接收不同框架训练得到的模型，对模型的兼容性较差。此外，在将神经网络的执行任务分配到异构资源的过程中没有提供分配策略，需要人工根据经验将神经网络切分后生成的子图分配到合适的异构资源上，没有考虑到神经网络模型中算子之间有时存在并行的特点，不能充分地发挥异构计算的并行性优势，随着计算量的增加，执行神经网络速度较低。

发明内容

本发明的目的在于克服上述现有技术的不足，提出了一种基于异构平台执行深度神经网络的系统及方法，用于解决现有技术中存在的执行神经网络速度较低和对模型的兼容性较差的技术问题。

为实现上述目的，本发明采取的技术方案为：

一种基于异构平台执行深度神经网络的系统，包括模型解析模块、分析模块、平台检测模块、任务分配模块和推理模块，所述平台检测模块、任务分配模块和推理模块是通过包含R个异构计算单元的异构平台O实现的，R≥1，其中：

所述模型解析模块，用于对基于深度学习训练的深度神经网络DNN模型进行序列化解析，将得到的包含N个算子的描述文件M和包含N'个算子间数据流向关系的描述文件M'发送至分析模块，同时对M中的N个算子进行遍历，并将遍历得到的N个算子的属性参数发送至任务分配模块；