[发明专利]一种用于深度学习编译器中探索优化空间的加速方法

说明书

本发明公开了一种用于深度学习编译器中探索优化空间的加速方法，目的是通过编译技术优化神经网络效果，并大幅减少编译器探索算子优化空间的耗时。该方法首先将神经网络抽象成计算图的形式。其次对计算图进行图优化，并为优化后计算图中的每个算子定义优化空间。然后基于包含优化空间信息的算子，提出一种优化空间相似度计算方法。最后提出一种基于相似度的算子状态空间探索方法，基于相似度对算子进行聚类，对每一个聚类中的核心算子进行全空间探索，同类的其余算子在核心算子最优方案中进行探索，确定整个神经网络每个算子的优化方案。

技术领域

本发明涉及深度学习、编译技术、高性能计算交叉技术应用领域，尤其是涉及种用于深度学习编译器中探索优化空间的加速方法。

背景技术

现如今，深度神经网络（DNN）已经在图像分类、自然语言处理、自动驾驶、增强现实和其他AI领域有着广泛的应用。特别是随着计算设备的快速发展，如GPU、FPGA和特殊设计的神经网络加速器的产生，DNN的计算能力越发强大，人工智能领域对高效DNN的需求也越发强烈，因此如何提高DNN的运行效率是近年来一个非常重要的研究问题。

现在，已经有很多深度学习框架，如TensorFlow、PyTorch、Caffe和MXNet等，可以将神经网络表示为计算图的形式，并针对计算图进行图级的优化，然后将DNN中的算子映射到第三方加速库如CuDNN、MKL-DNN上来获得高效的DNN运算效果。然而图级别的优化一般是与硬件无关的，无法根据硬件特性获取更细粒度的优化效果。而且依赖的第三方加速库一般是非开源的，这使得程序员无法进行有效地控制，也无法轻松地跨硬件设备对DNN进行移植。除此之外，对于第三方库不支持的算子，就无法获得优化效果，或者是需要程序员花费大量工作进行手动调优。

在针对DNN加速的研究中，通过编译技术将多种不同框架下的神经网络映射到多种硬件平台，并在映射过程中对神经网络进行加速，产生优化后的目标平台代码的方法获得了显著的效果。一种比较高效的神经网络编译器包含以下执行流程：首先将多种深度学习框架下的神经网络通过高级中间语言表示为计算图，并对计算图进行图级别的优化。然后将优化后的计算图转换为低级中间语言表示，并对其进行算子级别的优化。最后根据目标硬件平台产生对应的优化后代码。

在对神经网络进行算子级别的优化时，预先定义好每个算子的优化空间，然后采用机器学习的方法对优化空间进行探索，获取最好的优化方案。其中每个算子的优化空间都非常大，如一个Conv算子就可能有上亿种优化方案，因此对于算子的优化空间探索耗时巨大，如一个Yolo网络需要超过一天的时间来探索优化方案。

发明内容

为解决现有技术的不足，实现在可接受的深度学习网络推理时间增加的牺牲下，大幅减少编译器探索算子优化空间耗时的目的，本发明采用如下的技术方案：

一种用于深度学习编译器中探索优化空间的加速方法，包括如下步骤：

S1，对神经网络进行抽象，将其表示为计算图的形式；

S2，对计算图进行图优化；

S3，为优化后计算图中的每个算子定义优化空间，基于包含优化空间信息的算子，进行优化空间相似度计算；

S4，基于相似度的算子状态空间探索，基于相似度对算子进行聚类，对每一个聚类中的核心算子进行全空间探索，同类的其余算子在核心算子最优方案中进行探索，确定整个神经网络每个算子的优化方案，并根据硬件平台产生目标平台代码，包括如下步骤：

S41，计算算子的相似度矩阵；

S42，将相似度矩阵作为输入执行AP聚类，AP聚类算法不需要预先确定聚类数量，并且聚类后每个类的中心就是输入的一个算子，不需要重新为每个聚类选择一个算子作为核心；

S43，对于每个聚类的核心算子，探索该算子的完整优化空间，并在探索过程中保存推理时间最短的n个优化方案；