[发明专利]一种神经网络训练的并行方法在审
| 申请号： | 202310456766.X | 申请日： | 2023-04-25 |
| 公开（公告）号： | CN116596035A | 公开（公告）日： | 2023-08-15 |
| 发明（设计）人： | 张灵燕;雷莉霞;宋岚;吴锐;刘张亮 | 申请（专利权）人： | 华东交通大学 |
| 主分类号： | G06N3/0464 | 分类号： | G06N3/0464;G06N3/063;G06F9/50 |
| 代理公司： | 北京智行阳光知识产权代理事务所(普通合伙) 11738 | 代理人： | 邓凤姿 |
| 地址： | 330000 江西省南*** | 国省代码： | 江西;36 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 神经网络 训练 并行 方法 | ||
【权利要求书】：
1.一种神经网络训练的并行方法，其特征在于，包括：
六种张量切分模型步骤，用于对神经网络中特征图，卷积核，梯度张量在模型并行和数据并行下的切分；
两个worker间通信量化步骤，用于两个worker间层内通信与层间通信中通信量化，从而实现并行模型状态空间的自动搜索；
多个worker间通信协议及形式化验证步骤，用于多个worker间的可信通信。
2.根据权利要求1所述一种神经网络训练的并行方法，其特征在于，六种张量切分模型步骤包括：
前向传播中的张量，分别在数据并行和模型并行中的切分方法；
误差反向传播中的张量，分别在数据并行和模型并行中的切分方法；
梯度更新计算中的张量，分别在数据并行和模型并行中的切分方法。
3.根据权利要求2所述一种神经网络训练的并行方法，其特征在于，两个worker间通信量化步骤包括：
两种层内通信量化方法；
四种层间通信量化方法。
4.根据权利要求3所述一种神经网络训练的并行方法，其特征在于，多个worker间通信协议及形式化验证步骤步骤包括：
两个以上的worker通信协议模型；
对通信协议模型的形式化验证方法。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华东交通大学，未经华东交通大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202310456766.X/1.html，转载请声明来源钻瓜专利网。
