专利名称
主分类
A 农业
B 作业;运输
C 化学;冶金
D 纺织;造纸
E 固定建筑物
F 机械工程、照明、加热
G 物理
H 电学
专利下载VIP
公布日期
2023-10-24 公布专利
2023-10-20 公布专利
2023-10-17 公布专利
2023-10-13 公布专利
2023-10-10 公布专利
2023-10-03 公布专利
2023-09-29 公布专利
2023-09-26 公布专利
2023-09-22 公布专利
2023-09-19 公布专利
更多 »
专利权人
国家电网公司
华为技术有限公司
浙江大学
中兴通讯股份有限公司
三星电子株式会社
中国石油化工股份有限公司
清华大学
鸿海精密工业股份有限公司
松下电器产业株式会社
上海交通大学
更多 »
钻瓜专利网为您找到相关结果9个,建议您升级VIP下载更多相关专利
  • [发明专利]基于FPGA的硬件感知可微分BERT层头剪枝方法-CN202211294121.2在审
  • 白玥寅;王堃;俞军 - 复旦大学
  • 2022-10-21 - 2022-12-30 - G06N3/08
  • 本发明公开了一种基于FPGA的硬件感知可微分BERT层头剪枝方法。其包括以下步骤:引入可微分NAS的思路,为预训练好的BERT模型的每一个编码层,每一个注意力头,每一个前馈神经网络FFN维度均设置一个架构参数;对单层BERT模型进行仿真,得到四个模块的时延和功耗结果;计算单维子模块对应的时延Ls分数和功耗Ps分数;计算完整模型的Lf分数和Pf分数;训练更新模型的权重参数和,最小化完整的loss;模型训练收敛后,对于小于阈值的,将其对应的模型结构剪枝掉。本发明可在没有精度损失的情况下,将BERT‑base模型参数量压缩1.8倍,同时在FPGA上的推理时延缩小2.1倍,功耗降低1.9倍。
  • 基于fpga硬件感知微分bert剪枝方法

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top