|
钻瓜专利网为您找到相关结果 139101个,建议您 升级VIP下载更多相关专利
- [发明专利]一种类Alexnet网络的模型训练方法和装置-CN201610201731.1在审
-
王思宇
-
阿里巴巴集团控股有限公司
-
2016-03-31
-
2017-10-24
-
G06N3/08
- 本申请实施例提供了一种类Alexnet网络的模型训练方法和装置,所述方法包括采用第一图形处理单元GPU计算在类Alexnet网络下的第一梯度值和第二梯度值;接收第二图形处理单元GPU发送的在所述类Alexnet网络下的第三梯度值;依据所述第一梯度值和第三梯度值计算所述类Alexnet网络的第一模型参数;接收所述第二图形处理单元GPU发送的在所述类Alexnet网络下的第四梯度值;依据所述第二梯度值和第四梯度值计算所述类Alexnet网络的第二模型参数;采用所述第一模型参数和第二模型参数训练所述类Alexnet网络的模型,使计算和通信两个过程分开进行,进一步使类Alexnet网络的卷积层的计算和全连接参数通信并行,有效地减少了模型训练过程耗费的时间
- 种类alexnet网络模型训练方法装置
- [发明专利]神经网络系统、神经网络的学习方法以及神经网络的学习程序-CN202080092251.0在审
-
檀上匠
-
富士通株式会社
-
2020-01-10
-
2022-08-19
-
G06N3/08
- 本发明提高数据并行型分散学习的吞吐量。神经网络系统具有存储器和访问存储器的多个处理器,多个处理器中的每一个处理器在多次学习中的每一次学习中,基于训练数据的输入和神经网络内的参数执行神经网络的运算来计算神经网络的输出,计算计算出的输出与训练数据的教师数据的差分相对于参数的梯度或者基于梯度的更新量,(1)在梯度或者更新量的累积不小于阈值的第一情况下,执行多个处理器将分别计算出的多个梯度或者更新量的累积发送到多个处理器内的其它的处理器来汇集多个梯度或者更新量的累积,接收汇集后的梯度或者更新量的累积,用汇集后的梯度或者更新量的累积更新参数的第一更新处理,(2)在梯度或者更新量的累积小于阈值的第二情况下,执行多个处理器不进行基于发送的多个梯度或者更新量的累积的汇集,用多个处理器分别计算出的梯度或者更新量更新各自的参数的第二更新处理
- 神经网络系统学习方法以及学习程序
|