[发明专利]显存分配的方法、装置、计算设备及计算机存储介质

权利要求书

1.一种显存分配的方法，其特征在于，包括：

解析加载于设备中的一个或多个深度学习算法模型的数据流动路线，得到对应各个深度学习算法模型的数据流动路线的数据流动时序，以及得到对应各个深度学习算法模型的数据流动路线的数据流动时序中的各个时刻所需占用的显存块的第二数量；

比较解析出的各个时刻所需占用的显存块的第二数量的数量值的大小，确定数量值最大的第二数量为所述深度学习算法模型的数据流动过程中所需占用的显存块的第一数量；

确定各个深度学习算法模型的数据流动过程中的第一数量的显存块的分配规则；

在一个或多个深度学习算法模型的运行中，根据各个深度学习算法模型对应的分配规则为所述深度学习算法模型分配显存块。

2.根据权利要求1所述的方法，其特征在于，所述确定各个深度学习算法模型的数据流动过程中的第一数量的显存块的分配规则进一步包括：

根据各个深度学习算法模型的数据流动路线和数据流动时序确定所述深度学习算法模型的数据流动过程中的第一数量的显存块的分配规则。

3.根据权利要求2所述的方法，其特征在于，所述分配规则包括释放显存块的规则和/或新增显存块的规则。

4.根据权利要求3所述的方法，其特征在于，在所述根据各个深度学习算法模型对应的分配规则为所述深度学习算法模型分配显存块进一步之前，所述方法还包括：设置包括多个显存块的显存池；

所述根据各个深度学习算法模型对应的分配规则为所述深度学习算法模型分配显存块进一步包括：

根据所述释放显存块的规则将所述深度学习算法模型已占用的显存块释放至显存池中；和/或，

根据所述新增显存块的规则从显存池中提取存储当前的待存储数据的显存块。

5.根据权利要求4所述的方法，其特征在于，在所述根据所述释放显存块的规则将所述深度学习算法模型已占用的显存块释放至显存池中之后，所述方法还包括：

将释放的所述已占用的显存块的状态设置为闲置状态。

6.根据权利要求5所述的方法，其特征在于，所述根据所述新增显存块的规则从显存池中提取存储当前的待存储数据的显存块具体为：

根据新增显存块的规则从显存池中提取闲置状态的显存块存储当前的待存储数据。

7.根据权利要求6所述的方法，其特征在于，所述根据各个深度学习算法模型对应的分配规则为所述深度学习算法模型分配显存块进一步包括：

若显存池中不存在闲置状态的显存块，则控制当前的深度学习算法模型暂停运行以等待闲置状态的显存块。

8.根据权利要求7所述的方法，其特征在于，在所述控制当前的深度学习算法模型暂停运行以等待闲置状态的显存块之后，所述方法还包括：

判断等待闲置状态的显存块的时间是否超过预设时间；

若是，则从一个或多个深度学习算法模型当前已占用的显存块中选择预设数量的显存块；

将所述预设数量的显存块中存储的数据拷贝至内存中，以及记录所述预设数量的显存块中存储的数据的索引信息；

将所述预设数量的显存块中存储的数据清空，并将所述预设数量的显存块的状态设置为闲置状态。

9.一种显存分配的装置，其特征在于，包括：

解析模块，适于解析加载于设备中的一个或多个深度学习算法模型的数据流动路线，得到对应各个深度学习算法模型的数据流动路线的数据流动时序，以及得到对应各个深度学习算法模型的数据流动路线的数据流动时序中的各个时刻所需占用的显存块的第二数量；

显存块数量确定模块，适于比较解析出的各个时刻所需占用的显存块的第二数量的数量值的大小，确定数量值最大的第二数量为所述深度学习算法模型的数据流动过程中所需占用的显存块的第一数量；

分配规则确定模块，适于确定各个深度学习算法模型的数据流动过程中的第一数量的显存块的分配规则；

分配模块，适于在一个或多个深度学习算法模型的运行中，根据各个深度学习算法模型对应的分配规则为所述深度学习算法模型分配显存块。