[发明专利]用于对GPU显存进行复用的方法及装置

说明书

本说明书实施例提供了用于对GPU显存进行复用的方法及装置。在该方法中，在应用程序执行循环任务的过程中，记录应用程序访问的复用内存对象以及各个复用内存对象的对象信息，循环执行以下分配过程，直至一个循环中的所有复用内存对象分配完成：按照各个复用内存对象的数据量从大到小的顺序依次选取待分配复用内存对象；针对所选取的待分配复用内存对象，根据该待分配复用内存对象的对象信息以及GPU显存中当前已存在的复用内存段所分配的各个复用内存对象的对象信息，分配复用内存段；根据各个复用内存对象以及对应分配的复用内存段，在循环任务执行过程中将各个复用内存对象在GPU显存和CPU内存之间进行数据迁移，以对GPU显存进行复用。

技术领域

本说明书实施例涉及计算机技术领域，具体地，涉及用于对GPU显存进行复用的方法及装置。

背景技术

GPU是一种广泛使用的能够减少对CPU依赖、并进行部分原本CPU工作的微处理器，并且具有高性能计算加速特点，广泛用于AI（Artificial Intelligence）、机器学习以及在线服务等。

GPU在应用程序运行过程中，大多数的功能任务都运行在GPU上，GPU为运行在其上的任务提供显存，以供各个任务正常运行。针对每个任务，GPU从显存中为该任务分配一个存储空间以用于存储该任务所需访问的参数、数据等。当多个任务并行运行时，GPU需要同时为该多个并行任务中的每个并行任务都提供对应的存储空间。然而，GPU的显存容量有限，比如，一般在16GB、32GB等，这样有限的显存空间制约了应用程序运行较大型的计算任务，比如，在深度学习训练中，BERT-large模型、GPT-3等高精度模型都需要较大的显存才能运行在GPU之上，否则无法完成训练。因此，GPU的显存容量成为制约在GPU上运行大规模计算任务的瓶颈。

在专利公开号为CN113485832A的发明专利申请案中，公开了用于对物理内存池进行分配管理的方法及装置、物理内存池。物理内存池由系统中的GPU显存和其他物理内存构成，物理内存池的管理结构信息包括已释放内存对象集和已分配内存对象集，已释放内存对象集包括物理内存池中经过分配后当前已释放的空闲内存对象，已分配内存对象集包括物理内存池中已分配且当前在使用的内存对象。在该方法中，响应于请求指定容量的内存，在已释放内存对象集中查询是否存在指定容量的内存对象；若存在，对所查询到的指定容量的内存对象进行分配；以及将所分配的内存对象从已释放内存对象集中删除，并增加至已分配内存对象集。

发明内容

鉴于上述，本说明书实施例提供了用于对GPU显存进行复用的方法及装置。通过本说明书实施例的技术方案，在实现对GPU显存复用的同时，能够减少GPU显存的碎片，提高GPU显存的利用率。

根据本说明书实施例的一个方面，提供了一种用于对GPU显存进行复用的方法，包括：在应用程序执行循环任务的过程中，记录所述应用程序访问的用于复用GPU显存的复用内存对象以及各个复用内存对象的对象信息，所述对象信息包括数据量、在一次循环中的被访问次数、被访问时间点以及每次被访问的访问时长，所述各个复用内存对象包括属于所述循环任务的一个循环中的复用内存对象；循环执行以下分配过程，直至所述循环任务的一个循环中的所有复用内存对象分配完成：按照所述各个复用内存对象的数据量从大到小的顺序，依次选取复用内存对象作为待分配复用内存对象；针对所选取的待分配复用内存对象，根据该待分配复用内存对象的对象信息以及所述GPU显存中当前已存在的复用内存段所分配的各个复用内存对象的对象信息，为该待分配复用内存对象在所述GPU显存中分配复用内存段；以及根据所述各个复用内存对象以及对应分配的复用内存段，在所述循环任务执行过程中将所述各个复用内存对象在所述GPU显存和CPU内存之间进行数据迁移，以对所述GPU显存进行复用。