“赵涟水”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果4个，建议您升级VIP下载更多相关专利

[发明专利]一种多节点分布式训练方法、装置、设备及可读介质-CN202011362143.9有效
发明人： 赵涟水;吴韶华 -专利权人：苏州浪潮智能科技有限公司
申请日： 2020-11-28 - 公布日： 2023-06-09 - 主分类号： G06F3/06 文献下载
摘要：本发明公开了一种多节点分布式训练方法，包括：在每个节点上分别建立独立的训练计算图，通过训练计算图覆盖每个节点内的全部GPU和CPU，并将每个节点的CPU加入到深度学习模型分布式训练框架中；将主节点GPU中的初始训练参数拷贝到主节点CPU中，并将主节点CPU中的初始训练参数发送到其他节点的CPU上；将其他节点的CPU接收的初始训练参数拷贝到各自节点的GPU上，通过训练计算图对梯度进行规约操作，并将规约后得到的一级梯度拷贝到各自节点的CPU上；以及对各自节点的CPU中一级梯度再次进行规约，并将规约后得到的二级梯度拷贝到各自节点的GPU中。本发明还公开了对应的装置、计算机设备和可读存储介质。本发明通过结合horovod和replicated两种训练模式的优点，提高训练效率。
一种节点分布式训练方法装置设备可读介质

[发明专利]一种深度学习大模型训练的方法、系统、设备及介质-CN202010297962.3有效
发明人： 赵涟水;吴韶华 -专利权人：苏州浪潮智能科技有限公司
申请日： 2020-04-16 - 公布日： 2022-12-06 - 主分类号： G06N3/08 文献下载
摘要：本发明公开了一种深度学习大模型训练的方法、系统、设备和存储介质，方法包括在每个拓扑层执行以下步骤：根据张量被需求的拓扑层级数的大小对张量按照升序排列；将张量按照该排列依次搬运到GPU，判断当前搬运到GPU的张量的总和是否超过阈值；响应于当前搬运到GPU的张量的总和超过阈值，将超过的部分搬运到CPU并判断当前拓扑层是否为最后一个拓扑层；响应于当前拓扑层是最后一个拓扑层，对位置出现异常的张量进行矫正。本发明提出的深度学习大模型训练的方法、系统、设备及介质通过张量被使用的先后关系来制定更加精细准确的搬运策略，从而保证了性能的最大化。
一种深度学习模型训练方法系统设备介质

[发明专利]一种分布式计算图修改的方法和设备-CN202010690038.1有效
发明人： 赵涟水;吴韶华 -专利权人：苏州浪潮智能科技有限公司
申请日： 2020-07-17 - 公布日： 2022-05-31 - 主分类号： G06N20/00 文献下载
摘要：本发明提供了一种分布式计算图修改的方法和设备，该方法包括以下步骤：响应于分布式计算图需要做修改模拟，建立非分布式计算图并模拟得到非分布式计算图的修改策略；获取待修改的多GPU分布式计算图，并判断分层_版本号文件是否存在；响应于分层_版本号文件存在，基于修改策略将多GPU分布式计算图进行修改。通过使用本发明的方案，能够极大减少深度学习大模型分布式训练中计算图修改的耗时，加速了模型开发训练过程。
一种分布式计算修改方法设备

[发明专利]一种深度学习基准测试优化方向的选择方法及装置-CN202010694596.5在审
发明人： 赵涟水;吴韶华 -专利权人：苏州浪潮智能科技有限公司
申请日： 2020-07-17 - 公布日： 2020-11-20 - 主分类号： G06N20/00 文献下载
摘要：本发明公开一种深度学习基准测试优化方向的选择方法及装置，深度学习过程包含多个计算环节；本发明计算各个计算环节的优化效益；所述优化效益与计算环节的运行时长呈正相关，同时也与计算环节优化后所能获得的改善程度呈正相关；根据计算结果，选取优化效果大于预设值的计算环节作为优化对象。本发明使最终结果既能体现某个计算环节运行时间越长，其越应被列为优化对象，也体现某个计算环节经优化后能带来的效益。
一种深度学习基准测试优化方向选择方法装置