[发明专利]深度神经网络模型的处理方法、装置和设备有效
申请号: | 201810150453.0 | 申请日: | 2018-02-13 |
公开(公告)号: | CN108334946B | 公开(公告)日: | 2022-03-29 |
发明(设计)人: | 杨弋;周舒畅 | 申请(专利权)人: | 北京旷视科技有限公司 |
主分类号: | G06N3/063 | 分类号: | G06N3/063;G06F9/308;G06F9/302 |
代理公司: | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人: | 王术兰 |
地址: | 100000 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 深度 神经网络 模型 处理 方法 装置 设备 | ||
1.一种深度神经网络模型的处理方法,其特征在于,包括:
获取神经网络的第一目标计算层的多个输入数据;其中,所述第一目标计算层为深度神经网络模型所包含的依次连接的多个计算层中除前两个计算层之外的其他计算层,所述多个输入数据为所述深度神经网络模型中位于所述第一目标计算层之前且与所述第一目标计算层直接连接或通过短路边连接的多个计算层的计算结果,所述输入数据的位宽不超过预设位宽,所述短路边表示绕开所述深度神经网络模型的至少一层的网络连接关系;
通过所述第一目标计算层的起始位置的位操作处理层对所述多个输入数据进行位运算,得到位运算结果,并将所述位运算结果作为所述第一目标计算层的输入数据进行处理,所述位运算结果为所述多个输入数据的相加或相乘输出数据。
2.根据权利要求1所述的方法,其特征在于,每个所述计算层包括卷积层和非线性处理层,所述非线性处理层为离散定点化处理层。
3.根据权利要求1所述的方法,其特征在于,获取神经网络的第一目标计算层的多个输入数据包括:
确定多个第二目标计算层,其中,所述第二目标计算层为所述第一目标计算层的前一个计算层和通过短路边与所述第一目标计算层相连接的计算层,所述短路边表示绕开所述深度神经网络模型的至少一层的网络连接关系;
确定所述多个第二目标计算层的计算结果为所述第一目标计算层的所述多个输入数据。
4.根据权利要求3所述的方法,其特征在于,确定多个第二目标计算层包括:
当所述深度神经网络模型中包含依次连接的多个计算层的数量为2N时,确定所述神经网络中第i-2n-1个计算层为所述第一目标计算层Ai的多个第二目标计算层,其中,第i-1个计算层为所述第一目标计算层Ai的前一个计算层,剩余计算层为通过短路边与所述第一目标计算层相连接的计算层,i-2n-1和n均为正整数,且n依次取1至N。
5.根据权利要求1所述的方法,其特征在于,所述计算结果为离散定点化处理之后的计算结果,通过所述第一目标计算层的起始位置的位操作处理层对所述多个输入数据进行位运算,得到位运算结果包括:
通过所述第一目标计算层的起始位置的位操作处理层对所述离散定点化处理之后的计算结果进行位运算,得到所述位运算结果。
6.根据权利要求1所述的方法,其特征在于,当在处理器中对所述深度神经网络模型的第一目标计算层进行数据计算时,所述方法还包括:
在所述处理器所对应的集成电路中,按照所述第一目标计算层的计算逻辑为所述第一目标计算层分配逻辑计算电路,以使所述逻辑计算电路对所述多个输入数据进行相应的位运算。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取原始深度神经网络模型;
在所述原始深度神经网络模型中计算层的数量为2N时,在第i个计算层和第i-2k-1个计算层之间依次构建短路边,其中,i为大于2的正整数,i-2k-1和n均为正整数,且k依次取2至N,所述短路边表示绕开所述原始深度神经网络模型的至少一层的网络连接关系;
在所述第i个计算层的卷积层之前,构建位操作处理层,并将构建之后的原始深度神经网络模型作为所述深度神经网络模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京旷视科技有限公司,未经北京旷视科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810150453.0/1.html,转载请声明来源钻瓜专利网。