专利名称
主分类
A 农业
B 作业;运输
C 化学;冶金
D 纺织;造纸
E 固定建筑物
F 机械工程、照明、加热
G 物理
H 电学
专利下载VIP
公布日期
2023-10-24 公布专利
2023-10-20 公布专利
2023-10-17 公布专利
2023-10-13 公布专利
2023-10-10 公布专利
2023-10-03 公布专利
2023-09-29 公布专利
2023-09-26 公布专利
2023-09-22 公布专利
2023-09-19 公布专利
更多 »
专利权人
国家电网公司
华为技术有限公司
浙江大学
中兴通讯股份有限公司
三星电子株式会社
中国石油化工股份有限公司
清华大学
鸿海精密工业股份有限公司
松下电器产业株式会社
上海交通大学
更多 »
钻瓜专利网为您找到相关结果190个,建议您升级VIP下载更多相关专利
  • [发明专利]数据处理方法、装置、设备以及存储介质-CN202211382305.4有效
  • 孙逸伦;李雨芮;巩伟宝;于佃海 - 北京百度网讯科技有限公司
  • 2022-11-07 - 2023-10-27 - G06F13/38
  • 本公开提供了一种数据处理方法、装置、设备以及存储介质,涉及数据处理领域,尤其涉及人工智能、深度学习领域。具体实现方案为:获取进程对应的源数据序列,其中,源数据序列由已存储或预存储在N个第一内存区域中的源数据拼接形成,其中,N为大于1的正整数;对源数据序列进行处理,获取处理后得到的目标数据序列;基于目标数据序列,确定N个第一内存区域对应的N个分割数据,并将N个分割数据分别存储到N个第二内存区域,本申请避免了对数据的复制过程,实现内存共享,减小了内存开销并提升了通信性能,有利于减小计算阻塞,在设计中对通信操作进行了具有语义的抽象,有利于用户理解,用户可直接提供已处理的源数据序列,更便于二次开发。
  • 数据处理方法装置设备以及存储介质
  • [发明专利]任务处理方法、装置、电子设备和存储介质-CN202310897519.3在审
  • 郝宏翔;沈亮;巩伟宝;曾锦乐;于佃海 - 北京百度网讯科技有限公司
  • 2023-07-20 - 2023-10-24 - G06T1/20
  • 本公开提供了一种任务处理方法,涉及人工智能技术领域,尤其涉及分布式训练、大模型和预训练等技术领域。具体实现方案为:响应于确定已执行第i前向计算任务且接收到第二处理层的反向输入数据,目标计算单元根据反向输入数据和与第j批次反向输入数据对应的前向计算结果,执行反向计算任务,得到第二处理层的反向计算结果,其中,目标计算单元为多个计算单元中任一计算单元;以及响应于确定与当前批次训练数据相关的第二处理层的K个反向计算任务执行完成,目标计算单元利用多个通信流中处于空闲状态的第一通信流发送第二处理层的K个批次反向计算结果至多个计算单元。本公开还提供了一种任务处理装置、电子设备和存储介质。
  • 任务处理方法装置电子设备存储介质
  • [发明专利]分布式训练方法、梯度通信方法、装置及电子设备-CN202211426391.4有效
  • 沈亮;于佃海 - 北京百度网讯科技有限公司
  • 2022-11-15 - 2023-10-24 - G06N3/08
  • 本公开公开了一种分布式训练方法、梯度通信方法、装置及电子设备,涉及人工智能领域,尤其涉及深度学习领域。具体实现方案为:利用第一通信方式,与其他计算节点交换各自的有效参数,其中,有效参数为计算节点对应稀疏梯度中有效梯度的行数,有效梯度为计算节点对应稀疏梯度中有效部分的梯度数据;基于所有计算节点的有效参数,确定与其他计算节点交换各自的有效行参数和有效梯度的第二通信方式,其中,有效行参数是表示稀疏梯度与有效梯度映射关系的数组;利用第二通信方式,与其他计算节点交换各自的有效行参数和有效梯度。本公开实施例节约了通信资源,提升了深度神经网络分布式训练的通信性能。
  • 分布式训练方法梯度通信装置电子设备
  • [发明专利]任务处理方法、装置、电子设备及介质-CN202211388070.X有效
  • 沈亮;郝宏翔;于佃海 - 北京百度网讯科技有限公司
  • 2022-11-07 - 2023-10-13 - G06N3/04
  • 本公开提供了一种任务处理方法、装置、电子设备及介质,涉及人工智能领域,尤其涉及深度学习领域。具体实现方案为:将混合专家模型中的多个网络层切分为N组网络层,并将N组网络层分配给N个计算设备,其中N为大于1的整数;控制N个计算设备中的第一计算设备利用N组网络层中的第n组网络层执行第一任务,得到第一处理结果,n为小于N的正整数;响应于确定N个计算设备中的第二计算设备要基于第一处理结果执行第二任务,确定第二计算设备的目标状态;以及响应于确定目标状态为空闲状态,控制第二计算设备利用N组网络层中的第n+1组网络层,基于第一处理结果执行第二任务,得到第二处理结果。
  • 任务处理方法装置电子设备介质
  • [发明专利]数据加载方法、装置、电子设备和存储介质-CN202211385832.0有效
  • 沈亮;郝宏翔;刘鹏;巩伟宝;吴志华;于佃海 - 北京百度网讯科技有限公司
  • 2022-11-07 - 2023-10-13 - G06F9/445
  • 本公开提供了一种数据加载方法、装置、电子设备和存储介质,涉及自然语言处理、深度学习、云计算等领域。具体实现方案为:加载深度学习模型的模型参数的参数信息,并获取用于对深度学习模型进行深度学习的第一GPU的第一数量,在第一数量为多个的情况下,对参数信息中模型参数的第一参数值集合进行分组,以得到第一数量的模型参数的第二参数值集合,并将第一数量的模型参数的第二参数值集合,加载至第一数量的第一GPU。由此,可以实现在模型训练意外中断、硬件资源等改变的情况下,通过多个第一GPU对之前训练过程中保存的模型参数的参数值集合进行加载,并根据加载的参数值集合对深度学习模型进行继续训练,以提升模型的训练效果。
  • 数据加载方法装置电子设备存储介质
  • [发明专利]分布式模型训练的负载均衡方法和装置-CN202211309632.7有效
  • 沈亮;吴志华;于佃海 - 北京百度网讯科技有限公司
  • 2022-10-25 - 2023-10-10 - G06F9/50
  • 本公开提供了分布式模型训练的负载均衡方法和装置,涉及人工智能领域,尤其涉及深度学习领域。具体实现方案为:统计分布式模型的各个计算节点上的负载量;根据各个计算节点上的负载量之间的比值确定所述分布式模型是否负载均衡;若负载不均衡且有空闲的计算节点,则为所述分布式模型增加与负载量最大的目标计算节点的模型参数相同的同类计算节点;在各个计算节点上进行梯度反向计算后,将所述同类计算节点上的网络参数的梯度与所述目标计算节点上的网络参数的梯度进行同步。该实施方式实现了通过增加或减少计算节点的数量,有效地均衡各个计算节点的负载,充分利用计算和存储资源。
  • 分布式模型训练负载均衡方法装置

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top