[发明专利]一种用于神经网络的算子融合方法及其相关产品

说明书

本公开涉及一种可用于神经网络的算子融合方法及相关产品，其中，所述算子融合方法包括：遍历所述神经网络对应的计算图中的算子，从所述计算图中选择当前算子和待融合算子；按照一拆分尺寸，将所述待融合算子的输出数据拆分成多个输出块；基于所述输出块，映射得到与所述输出块对应的所述当前算子的输入数据的数据块尺寸、以及所述当前算子与待融合算子之间的中间数据的数据块尺寸；基于所述拆分尺寸、所述当前算子的输入数据的数据块尺寸、以及所述当前算子与待融合算子之间的中间数据的数据块尺寸，判断是否将所述当前算子与待融合算子融合在一起。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种可用于神经网络的算子融合方法和计算机可读存储介质。

背景技术

神经网络(DNNs)被越来越多的用在各种应用场合中，例如语音识别、目标检测、语义分割等。随着神经网络技术的持续发展，神经元以及突触(synapsis)的数目都在成指数级地增加。因此，运算操作量以及内存访问量也随之快速地增加，远远超出了硬件处理的能力，尤其对于嵌入式系统来说，问题尤为严重。业界已经提出了一些解决方案，例如：剪枝(pruning)、数据压缩、低精度量化等。但是，现有的通用处理器平台(例如CPU、FPGA、DSP等)仍然难以充分满足实际应用的要求。

一些研究人员考虑了神经网络的通用特征，并且设计出神经网络加速器。神经网络加速器一般增加了专用的片上存储器以提高性能。数据从外部的存储器(DRAM)被加载到片上存储器，完成计算之后，计算结果被存储回外部存储器中。然而，对于大部分神经网络加速器来说，计算资源的大量增加将会使得内存带宽的短缺以及片上网络的资源竞争的问题更加严重。内部存储和外部存储之间的数据传输延迟占据了程序执行时间中的一大部分。神经网络加速器的发展，使得神经网络的运行越来越快，但是，外部存储器DRAM的带宽的缓慢发展，使得内存访问称为加速器发展的一个瓶颈问题。亟需解决这个问题，才能更有效地利用加速器。

大部分神经网络模型需要大量的运算以及内存访问。一些神经网络加速器可以提供较高的计算性能。然而，目前主流的神经网络加速器的运算能力，远远超出了目前外部存储器的带宽。下面以ResNet-18神经网络中各层的计算量以及内存访问量为例，进行说明。

在ResNet-18神经网络中，每一层中的运算量与内存访问量的比率是不同的，因而对于带宽和计算能力具有不同的要求。以逐元素层(element-wise layer)为例，如果计算能力为1GFLOPS(Giga Floating-point Operations Per Second每秒所执行的浮点运算次数)的话，那么所需要的带宽是12GB/s。同时，对于卷积层来说，对于相同的1GFLOPS的计算能力，对带宽的要求仅为10MB/s。虽然神经网络加速器的硬件已经经过了优化设计，试图尽量在内存带宽与计算能力之间取得平衡，但是尚无法达到最佳的性能。在caffe框架下，本申请的发明人进一步统计了整个ResNet-18神经网络中每一层的计算能力与内存访问的比例，并且发现，95％以上的数据传输量是在某些层中(包括卷积层，BatchNorm层，Scale层，ReLU层以及逐元素层)。然而，除了卷积层之外，这些层中的计算量非常小，小于整个神经网络中的1％。因此，内存访问目前是人工智能处理器执行神经网络过程中的一个严重的瓶颈。

背景技术部分的内容仅仅是发明人所知晓的技术，并不当然代表本领域的现有技术。

发明内容

针对现有技术中的至少一个，本申请通过利用数据传输的单向性以及局部数据依赖性，提出了一种通用的调度方法，用于优化内存访问。

本发明提供了一种可用于神经网络的算子融合方法，所述算子融合方法包括：

遍历所述神经网络对应的计算图中的算子，从所述计算图中选择当前算子和待融合算子；

按照一拆分尺寸，将所述待融合算子的输出数据拆分成多个输出块；