|
|
钻瓜专利网为您找到相关结果 16个，建议您 升级VIP下载更多相关专利
- [发明专利]神经网络归一化训练方法及其架构单元-CN202110652981.8在审
-
王中风;鲁金铭
-
南京大学
-
2021-06-11
-
2022-12-13
-
G06N3/04
- 本申请公开一种神经网络归一化训练方法及其架构单元，所述方法中前向传播过程包括：对输入特征向量求绝对值，根据绝对值及输入特征向量的大小获取平均值；将平均值加上常数后求倒数，得中间参数；将输入特征向量乘中间参数，得中间特征向量；用可训练参数对特征向量线性变换，得输出结果；反向传播过程包括：对误差特征向量累加得第一参数的梯度；将误差特征向量与中间特征向量乘积累加，得第二参数的梯度；将第二参数的梯度除以输入特征向量的大小得均值；根据中间参数、第二参数、误差特征向量、中间特征向量及均值，计算输出梯度。采用前述方案，避免对batch‑size与卷积层数据依赖，降低存储需求及处理延时，不涉及平方、开方等复杂运算，对硬件友好。
- 神经网络归一化训练方法及其架构单元
- [发明专利]一种基于对数块浮点量化的神经网络加速系统-CN202210300275.1在审
-
王中风;倪超;鲁金铭;林军
-
南京大学
-
2022-03-24
-
2022-06-14
-
G06N3/063
- 本申请提供一种基于对数块浮点量化的神经网络加速系统。所述系统包括编译器、运行时和神经网络加速器，在使用时，编译器按照量化分块粒度对待部署模型数据进行分块，并将待部署模型全部转换为硬件指令，通过运行时与神经网络加速器进行交互，神经网络加速器根据指令将数据按照搬运分块粒度从片外分块搬运至片上进行加载，并对各个数据量化分块进行对数块浮点量化，最终利用量化结果执行对应的神经网络运算。整个系统通过编译器将模型转换为硬件可以识别的指令，由运行时向硬件下发指令和数据并与硬件进行高效通信，同时采用完全适配于对数块浮点量化方法的硬件架构，计算冗余较少，计算效率较高，可以有效地支持深度神经网络模型的端到端部署。
- 一种基于对数浮点量化神经网络加速系统
- [发明专利]一种应用于片上训练的稀疏加速器-CN202210094538.8在审
-
王中风;黄健;鲁金铭
-
南京大学
-
2022-01-26
-
2022-05-13
-
G06N3/04
- 本申请实施例提供的一种应用于片上训练的稀疏加速器，通过在不同的加速阶段动态调整输入数值缓冲模块中的多个输入数值、参考数值缓冲模块中的多个参考数值以及掩码缓冲模块中的掩码，以及使粗粒度单元以粗粒度对无效运算进行初步筛选，以及使处理模块中每个处理单元包括的细粒度单元以细粒度对无效运算进行进一步筛选，从而剔除片上训练三个训练阶段中全部的无效运算，此外，多个计算核可以进行并行加速处理，多个计算核中处理模块包括的多个处理单元也可以进行并行加速处理，进一步提高了稀疏加速器的硬件利用率。如此，本申请的一种应用于片上训练的稀疏加速器可以高效、准确地剔除片上训练三个阶段的所有无效运算。
- 一种应用于训练稀疏加速器
- [发明专利]一种基于卷积神经网络的模型稀疏方法-CN202210098264.X在审
-
刘阳;鲁金铭
-
南京风兴科技有限公司
-
2022-01-26
-
2022-05-06
-
G06N3/04
- 本申请提供一种基于卷积神经网络的模型稀疏方法。解决了提高稀疏模型精度的技术问题。模型稀疏方法包括：根据预训练模型的稀疏需求，设定稀疏比例sl；根据所述sl，稀疏所述预训练模型中每层的参数Wl，得到稀疏模型；计算第一中间结果和第二中间结果的误差损失；其中，所述第一中间结果为所述预训练模型第1层的中间结果；所述第二中间结果为所述稀疏模型中第1层的中间结果；根据预设权重，对所述误差损失加权，得到加权结果；将所述加权结果累加至模型预测误差上，得到最终损失；根据所述最终损失，更新所述稀疏模型的网络参数。本申请通过利用稀疏前的网络中间层结果为稀疏后的网络提供指导训练，加速收敛过程，提升网络精度。
- 一种基于卷积神经网络模型稀疏方法
- [发明专利]一种模型训练方法-CN202111628710.5在审
-
王中风;邵海阔;鲁金铭;魏敬和
-
南京大学
-
2021-12-28
-
2022-04-29
-
G06N3/08
- 本申请提供一种模型训练方法，包括定义一个新的量化线性层；将量化线性层的多维输入张量中全部元素量化为PINT格式，对量化线性层的待计算张量中全部元素量化为PINT数据格式，将量化后的多维输入张量和待计算张量进行矩阵乘计算得到定点结果；将定点结果反量化为浮点数并传播到后续网络层；将模型中原有的线性层替换为量化线性层，以及基于浮点数和PINT数据格式对模型进行训练。本申请开发了一种基于PINT数据格式的量化线性层，将低比特、高表示能力的PINT数据格式应用到模型训练，用量化线性层替换模型中使用到的线性层，使得在训练出的模型准确度变化很小的情况下有效的降低了数据计算和存储等方面的需求。
- 一种模型训练方法
- [发明专利]一种深度神经网络训练方法及装置-CN201911112321.X在审
-
鲁金铭;王中风;林军
-
南京风兴科技有限公司
-
2019-11-14
-
2021-05-14
-
G06F9/30
- 本发明公开了一种深度神经网络训练方法及装置，该方法包括：通过建立深度神经网络框架；获取全精度浮点数格式的待处理数据；利用所述全精度浮点数格式的待处理数据对所述深度神经网络框架进行预热训练；将所述全精度浮点数据格式的待处理数据转化为Posit格式数据；利用所述Posit格式数据对所述预热训练后的深度神经网络框架进行训练。与现有技术相比，本实施例通过采用全精度浮点数格式的待处理数据对深度神经网络框架进行预热训练，再将全精度浮点数格式的待处理数据转化为Posit格式数据，利用Posit格式数据对预热训练后的深度神经网络框架进行训练，能够减少存储资源的占用，缩短训练时间，提高训练效率。
- 一种深度神经网络训练方法装置
|
