[发明专利]进行矩阵向量乘法运算的系统及进行神经网络运算方法在审
申请号: | 201810984160.2 | 申请日: | 2018-08-27 |
公开(公告)号: | CN109359269A | 公开(公告)日: | 2019-02-19 |
发明(设计)人: | 康晋锋;项亚臣;黄鹏;韩润泽;刘晓彦 | 申请(专利权)人: | 北京大学 |
主分类号: | G06F17/16 | 分类号: | G06F17/16;G06N3/063 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 张宇园 |
地址: | 100871*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 矩阵向量乘法 运算 减法电路 减法运算 运算电流 向量 二进制数字量 加权求和电路 加权求和运算 模数转换电路 神经网络运算 乘法运算 结果转换 输入电压 运算结果 正负关系 累加 被乘数 列单元 行单元 组设置 求和 乘数 漏极 加权 写入 存储 一体化 输出 | ||
1.一种基于NOR FLASH计算阵列进行矩阵向量乘法运算的系统,其特征在于,包括:
NOR FLASH计算阵列,阵列中每列单元的栅极接在一起,各列用于依次输入与被乘数向量的元素相对应的输入电压;阵列中每列单元的源极接在一起,用于接入驱动电压;阵列中每行单元的漏极连接在一起,用于输出各单元进行乘法运算后并累加得到的运算电流;按照乘法对应关系,阵列中每两行为一组,其中一行表示负数,另一行表示正数,各组按照正负关系被预先写入乘数向量的各元素;
加权求和电路,用于对位于同一组代表不同位的所述运算电流进行加权求和运算;
减法电路,每组设置一减法电路,用于对代表不同位加权求和后的运算结果进行减法运算;
模数转换电路,用于将进行减法运算后的结果转换为二进制数字量。
2.根据权利要求1所述的系统,其特征在于,所述加权求和电路为电流镜,用于将处于不同位的电流值加权求和,权值为2k-1,其中k为不同电流值对应的位数。
3.根据权利要求1所述的系统,其特征在于,所述NOR FLASH计算阵列为多个,分别对应乘数向量中各元素的不同位。
4.根据权利要求1所述的系统,其特征在于,所述矩阵向量乘法运算为神经网络全连接层的运算,所述被乘数向量为1×M的输入向量X,所述乘数向量为M×N的权值矩阵K,其中M,N分别为正整数。
5.根据权利要求1所述的系统,其特征在于,所述矩阵向量乘法运算为神经网络卷积层的运算,规模为M×N的输入矩阵X的各部分分别与规为k×k的卷积核K进行矩阵向量乘法运算,完成卷积操作并得到规模为m×n的输出矩阵Y,数学表达如下:
Yi,j=Xi,j·Kk,k+Xi,j+1·Kk,k-1+Xi+1,j·Kk-1,k+…+Xi+k-1,j+k-1·K1,1
其中1≤i≤M-k+1(m),1≤j≤N-k+1(n)。
6.根据权利要求2所述的系统,其特征在于,所述矩阵向量乘法运算为神经网络平均池化运算,平均池化对应于卷积核均为1/n,步长为n的卷积运算。
7.应用权利要求1的系统进行卷积层运算的方法,包括:按照卷积运算对应关系,在NORFLASH计算阵列各组中预先写入卷积核中数据;
在NOR FLASH计算阵列中,各列依次输入与输入矩阵的元素相对应的输入电压;
通过模数转换电路获得卷积后的矩阵。
8.应用权利要求1的系统进行全连接层运算的方法,包括:
按照全连接层运算对应关系,在NOR FLASH计算阵列各组中预先写入权值矩阵数据;
在NOR FLASH计算阵列中,各列依次输入与输入向量的元素相对应的输入电压;
通过模数转换电路获得全连接运算后的向量。
9.应用权利要求1的系统进行平均池化运算的方法,包括:
按照平均池化运算对应关系,在NOR FLASH计算阵列各组中预先写入与n×n的卷积核相对应的数据,卷积核中各元素均为1/n;
在NOR FLASH计算阵列中,各列依次输入与输入向量的元素相对应的输入电压;
通过模数转换电路获得平均池化运算后的矩阵。
10.应用权利要求1的系统进行矩阵向量乘法运算的方法,包括:
按照矩阵向量乘法运算对应关系,在NOR FLASH计算阵列各组中预先写入乘数向量数据;
在NOR FLASH计算阵列中,各列依次输入与输入向量的元素相对应的输入电压;
通过模数转换电路获得进行乘法运算后的运算结果。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京大学,未经北京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810984160.2/1.html,转载请声明来源钻瓜专利网。