“李剑歌”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果2个，建议您升级VIP下载更多相关专利

[发明专利]一种异构GPU集群负载感知的显存重计算优化方法及系统-CN202211386085.2有效
发明人：张竞慧;翁财善;徐正佳;李剑歌;东方;罗军舟 -专利权人：东南大学
申请日： 2022-11-07 - 公布日： 2023-03-24 - 主分类号： G06F9/50 文献下载
摘要：本发明公开了一种异构GPU集群负载感知的显存重计算优化方法及系统，针对异构GPU集群环境下流水线训练显存需求，刻画出其训练执行过程中计算时间、GPU显存总量、显存占用等相应指标，并将其作为负载感知的显存重计算优化方法的输入，建立显存重计算优化模型,计算各GPU上显存负载百分比，确定所有阶段中显存负载最高的阶段，根据最小化显存开销算法进行重计算优化，保证各阶段负载均衡，提升整体吞吐率，本发明提出最小化负载最高阶段显存开销算法与平衡异构GPU各阶段开销算法，减少异构GPU集群环境下流水线训练的显存占用，同时最小化显存优化开销，更好地支持大模型的训练。
一种 gpu 集群负载感知显存计算优化方法系统

[发明专利]一种加速分布式深度神经网络训练的混合流水线并行方法-CN202110134151.6在审
发明人：张竞慧;李剑歌;王宇晨;金嘉晖;东方;罗军舟 -专利权人：东南大学
申请日： 2021-01-29 - 公布日： 2021-05-11 - 主分类号： G06N3/04 文献下载
摘要：本发明提供一种加速深度神经网络分布式训练的混合流水线并行方法，主要解决传统GPU集群分布式训练过程中资源利用不充分，无法实现高效分布式训练的问题。本发明的核心机制主要包含三个部分，分别是深度学习模型刻画、模型混合划分与混合流水线并行划分。本发明首先针对深度学习应用在GPU训练过程中的资源需求，刻画出其训练过程中计算量、中间结果通信数量、参数同步量等相应指标，并将其作为模型混合划分与任务放置的输入。然后根据模型刻画结果和GPU集群的环境，设计两个基于动态规划的划分算法，实现模型混合划分与混合流水线并行划分，目的是最小化划分之后各阶段任务执行时间的最大值，以确保负载均衡，实现深度神经网络的高效分布式训练。
一种加速分布式深度神经网络训练混合流水线并行方法