[发明专利]基于MPI的神经网络架构搜索并行化方法和设备有效
| 申请号： | 202010144350.0 | 申请日： | 2020-03-04 |
| 公开（公告）号： | CN111324630B | 公开（公告）日： | 2023-07-25 |
| 发明（设计）人： | 曹连雨 | 申请（专利权）人： | 中科弘云科技（北京）有限公司 |
| 主分类号： | G06F16/245 | 分类号： | G06F16/245;G06N3/045;G06N3/084 |
| 代理公司： | 北京八月瓜知识产权代理有限公司 11543 | 代理人： | 李斌 |
| 地址： | 100080 北京市海淀区上*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种基于MPI的神经网络架构搜索并行化方法和设备。该方法包括：根据当前多机环境中的GPU数量启动MPI进程，并按顺序进行编排；启动后的MPI进程根据其自己的序号从训练集中指定位置读取数据，并进行梯度计算；每个节点的GPU根据分层结构进行梯度规约计算，将计算的结果汇总至GPU中的首个GPU中；首个GPU按环形结构进行梯度全规约计算；在每个节点内从该首个GPU开始，按分层结构广播梯度计算结果；利用该新的梯度值更新神经网络的权值和偏置值。本发明能够在保证神经网络架构搜索结果模型的识别率的基础上，有效地加速神经网络架构搜索训练效率，大幅度减少训练时间，从而提升自动化深度学习过程的效率。 | ||
| 搜索关键词： | 基于 mpi 神经网络 架构 搜索 并行 方法 设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中科弘云科技（北京）有限公司，未经中科弘云科技（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202010144350.0/，转载请声明来源钻瓜专利网。
