[发明专利]一种内存复用方法及其相关产品

说明书

本公开涉及一种可用于神经网络的内存复用方法、计算机可读存储介质、内存复用设备和计算设备，该计算设备包括：一个或多个处理器；和存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行内存复用方法。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种可用于神经网络的内存复用方法、计算机可读存储介质、内存复用设备以及计算设备。

背景技术

深度神经网络(DNNs)被越来越多的用在各种应用场合中，例如语音识别、目标检测、语义分割等。随着神经网络技术的持续发展，神经元以及突触(synapsis)的数目都在成指数级地增加。因此，运算操作量以及内存访问量也随之快速地增加，远远超出了硬件处理的能力，尤其对于嵌入式系统来说，问题尤为严重。业界已经提出了一些解决方案，例如剪枝(pruning)、数据压缩、低精度量化等。但是，现有的通用处理器平台(例如CPU、FPGA、DSP等)仍然难以充分满足实际应用的要求。

一些研究人员考虑了深度神经网络算法的通用特征，并且设计出神经网络加速器。神经网络加速器一般增加了专用的片上存储器以提高性能。数据从外部的存储器(DRAM)被加载到片上存储器，完成计算之后，计算结果被存储回外部存储器中。然而，对于大部分神经网络加速器来说，计算资源的大量增加将会使得内存带宽的短缺以及片上网络的资源竞争的问题更加严重。内部存储和外部存储之间的数据传输延迟占据了程序执行时间中的一大部分。神经网络加速器的发展，使得深度神经网络的运行越来越快，但是，外部存储器DRAM的带宽的缓慢发展，使得内存访问称为加速器发展的一个瓶颈问题。亟需解决这个问题，才能更有效地利用加速器。

因此，如何实现片上内存的有效利用，如何能够有效复用片上内存，是一个亟待解决的问题。

背景技术部分的内容仅仅是发明人所知晓的技术，并不当然代表本领域的现有技术。

发明内容

针对上述技术问题中的至少一个，本申请提出一种可用于神经网络的内存复用方法，所述内存复用方法包括：

接收用于所述神经网络对应计算图中当前算子的输入数据，并将所述输入数据存储到一存储空间；

通过所述当前算子对所述输入数据进行处理，获得对应的输出数据；

判断所述输入数据是否继续用于所述计算图中其他算子的处理，获取第一判断结果；

根据所述第一判断结果对所述存储空间进行复用。

本申请还涉及一种可用于神经网络的内存复用方法，所述内存复用方法包括：

接收用于所述神经网络对应计算图中当前算子的输入数据，并将所述输入数据存储到一存储空间；所述输入数据的数据集包括至少两个输入数据子集；所述存储空间允许存储的数据规模小于所述输入数据的数据集的数据规模；

通过所述当前算子对所述输入数据子集进行处理，获得对应的输出数据；

判断所述输入数据子集是否继续用于所述当前算子的处理，获取第二判断结果；

根据所述第二判断结果对所述存储空间进行复用。

本申请还涉及一种计算机可读存储介质,包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如上所述的内存复用方法。

本申请还涉及一种可用于神经网络的内存复用装置，所述内存复用装置包括：

接收用于所述神经网络对应计算图中当前算子的输入数据并将所述输入数据存储到一存储空间的单元；

通过所述当前算子对所述输入数据进行处理以获得对应的输出数据的单元；

判断所述输入数据是否继续用于所述计算图中其他算子的处理以获取第一判断结果的单元；