[发明专利]一种神经网络的内存分配方法

权利要求书

1.一种神经网络的内存分配方法，其特征在于，该方法包括：

S1.获取计算图中的计算单元，并按计算顺序对每个计算单元依次编号；

S2.获取模型中所有计算单元的内存可重用张量的计算编号集合；具体是：

S21.确定模型中的内存可重用张量：

模型中的张量包括模型输入张量、模型输出张量、模型权重张量、模型数据张量；其中，模型输入张量和模型数据张量的内存可重复使用，即为内存可重用张量；

S22.确定计算单元的内存可重用张量：

每个计算单元的张量包括单元输入张量和单元输出张量；

如果单元输入张量为模型输入张量或模型数据张量，则该单元输入张量为计算单元的内存可重用张量；

如果单元输出张量为模型数据张量，则该单元输出张量为计算单元的内存可重用张量；

S23.建立模型中所有计算单元的内存可重用张量的集合R＝{R₁,R₂,…,R_N}，R_n为第n个内存可重用张量,n＝1,2,…,N，N为所有计算单元的内存可重用张量的总数；

S24.每个内存可重用张量为某个计算单元的单元输入张量或单元输出张量，建立每个内存可重用张量所在的计算单元编号集合S′＝{S₁,S₂,…,S_M}，S_m为计算单元的编号，m＝1,2,…,M；

S25.取每个内存可重用张量编号集合中的最小编号S_min和最大编号S_max，并在最小编号S_min到最大编号S_max之间填充所有编号，作为每个内存可重用张量最终的编号集合S＝{S_min,S_min+1,…,S_max-1,S_max}，S即为该内存可重用张量的计算编号集合；

S3.确定内存可重用张量的最终内存分配方式；

S4.获取模型所需可重用内存的总大小和每个内存可重用张量的分配出来的内存地址。

2.如权利要求1所述的一种神经网络的内存分配方法，其特征在于，步骤S1具体是：

S11.遍历神经网络计算图，去除输入张量和输出张量在内存中数据存储完全一致的操作单元，得到实际需要计算的计算单元；

S12.对所有的计算单元的按照计算顺序进行排序，使前面计算单元的输入张量不依赖于后面计算单元的输出张量；

S13.按排序后的计算单元依次编号，K个计算单元的编号依次为1,2,…,K。

3.如权利要求1所述的一种神经网络的内存分配方法，其特征在于，步骤S3具体是：

S31.初始化所有计算单元的编号对应的可用内存为0-∞；

S32.对所有的内存可重用张量按使用内存大小从大到小进行排序；

S33.依次为模型中所有的内存可重用张量分配内存，每个可重用张量分配到的内存大小满足在该可重用张量在计算编号集合中所有的计算编号点上均能够分配出内存；

分配次数L由用户可接受的内存分配时间T′决定，满足T′≤T，L≥1，T为总分配内存时间，t_l为第l次内存分配时间；分配方式包括：最佳适应方式、首次适应方式、混合方式；

所述的最佳适应方式，是指内存分配时，优先选择能够满足所需内存大小的内存大小最小的空闲内存；

所述的首次适应方式，是指内存分配时，优先选择能够满足所需内存大小的内存地址最低的空闲内存；

所述的混合方式，是指混合使用最佳适应方式和首次适应方式，即对部分计算单元采用最佳适应方式，对部分计算单元采用首次适应方式；对于采用最佳适应方式以及首次适应方式对应的计算单元不同的分配方式，视为不同的混合方式；

每次分配内存可重用张量采用不同的分配方式；

S34.分配出来的所有内存可重用张量的内存，内存结束地址最大的值即为模型所需的内存可重用张量的内存总大小，取内存可重用张量的内存总大小最小的分配方式作为最终分配方式。

4.如权利要求1所述的一种神经网络的内存分配方法，其特征在于，步骤S4具体是：

S41.根据内存最终分配方式，确定内存可重用张量的内存总大小；

S42.根据内存最终分配方式，为每个内存可重用张量分配的内存所在地址作为最终的分配地址。