[发明专利]显存分配的方法、装置、计算设备及计算机存储介质

说明书

本发明公开了一种显存分配的方法、装置、计算设备及计算机存储介质，其中，方法包括：解析加载于设备中的一个或多个深度学习算法模型的数据流动路线，得到解析结果；根据解析结果得到各个深度学习算法模型的数据流动过程中所需占用的显存块的第一数量；确定各个深度学习算法模型的数据流动过程中的第一数量的显存块的分配规则；根据各个深度学习算法模型对应的分配规则为所述深度学习算法模型分配显存块。本发明方案，根据数据流动路线的解析结果确定深度学习算法模型所需占用的显存块的数量以及该数量的显存块的分配规则，使设备中的显存可以最大程度的发挥缓存的作用，进而通过提高显存利用率来降低深度学习算法模型的工程实施成本。

技术领域

本发明涉及计算机技术领域，具体涉及一种显存分配的方法、装置、计算设备及计算机存储介质。

背景技术

随着硬件技术的高速发展，目前市面上的主流硬件设备已经能满足深度学习算法的基本运行，但是在实际工业生产当中却隐含诸多问题。其中一种较典型的问题如下：大部分开源深度学习框架主要针对学术研究而开发，而对显卡的显存利用率一直不是很高，一般显卡设备无法负担以ResNet等超大规模的深度神经网络作为特征提取网络的深度学习算法对内存的需求。并且，在实际工业使用中，如果使用开源深度学习框架，比如Caffe这种通用的深度学习框架，它的硬件成本是非常昂贵的，进而造成一块显卡无法负载多个深度学习算法模型。

因此，需要一种适用于工业生产的方案以克服现有的深度学习算法模型运行时显存利用率低、实施成本高的问题。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的显存分配的方法、装置、计算设备及计算机存储介质。

根据本发明的一个方面，提供了一种显存分配的方法，其特征在于，包括：

解析加载于设备中的一个或多个深度学习算法模型的数据流动路线，得到解析结果；

根据解析结果得到各个深度学习算法模型的数据流动过程中所需占用的显存块的第一数量；

确定各个深度学习算法模型的数据流动过程中的第一数量的显存块的分配规则；

在一个或多个深度学习算法模型的运行中，根据各个深度学习算法模型对应的分配规则为所述深度学习算法模型分配显存块。

根据本发明的另一方面，提供了一种显存分配的装置，其特征在于，包括：

解析模块，适于解析加载于设备中的一个或多个深度学习算法模型的数据流动路线，得到解析结果；

显存块数量确定模块，适于根据解析结果得到各个深度学习算法模型的数据流动过程中所需占用的显存块的第一数量；

分配规则确定模块，适于确定各个深度学习算法模型的数据流动过程中的第一数量的显存块的分配规则；

分配模块，适于在一个或多个深度学习算法模型的运行中，根据各个深度学习算法模型对应的分配规则为所述深度学习算法模型分配显存块。

根据本发明的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述显存分配的方法对应的操作。

根据本发明的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述显存分配的方法对应的操作。