专利名称
主分类
A 农业
B 作业;运输
C 化学;冶金
D 纺织;造纸
E 固定建筑物
F 机械工程、照明、加热
G 物理
H 电学
专利下载VIP
公布日期
2023-10-24 公布专利
2023-10-20 公布专利
2023-10-17 公布专利
2023-10-13 公布专利
2023-10-10 公布专利
2023-10-03 公布专利
2023-09-29 公布专利
2023-09-26 公布专利
2023-09-22 公布专利
2023-09-19 公布专利
更多 »
专利权人
国家电网公司
华为技术有限公司
浙江大学
中兴通讯股份有限公司
三星电子株式会社
中国石油化工股份有限公司
清华大学
鸿海精密工业股份有限公司
松下电器产业株式会社
上海交通大学
更多 »
钻瓜专利网为您找到相关结果270个,建议您升级VIP下载更多相关专利
  • [发明专利]一种基于注意力图的视觉Transformer模型剪枝方法-CN202211239440.3在审
  • 王琼;黄丹;毛君竹;姚亚洲 - 南京理工大学
  • 2022-10-11 - 2022-11-08 - G06N3/08
  • 本发明公开了一种基于注意力图的视觉Transformer模型剪枝方法,应用于机器视觉推理系统,包括如下步骤:在机器视觉推理系统中,通过数据训练网络对ViT模型执行若干轮初始训练,以生成完整的注意力图;计算注意力图的信息熵,根据计算的信息熵大小对注意力头进行剪枝操作;移除被剪枝注意力头关联的各权重参数,以获得新ViT模型;重新微调新ViT模型的参数;通过对多头注意力模块进行剪枝,删除具有高不确定性的特征图和相应的注意力头,以减少ViT模型的参数和复杂性,降低ViT模型的计算复杂度和参数量,能够缩减ViT模型大小,最终达到在ViT模型性能有限损失的情况下实现ViT模型的轻量化。
  • 一种基于注意力图视觉transformer模型剪枝方法
  • [发明专利]一种ViT模型的剪枝方法、装置、设备及存储介质-CN202310486262.2在审
  • 刘松 - 哲库科技(上海)有限公司
  • 2023-04-28 - 2023-09-01 - G06N3/082
  • 本申请公开一种ViT模型的剪枝方法、装置、设备及存储介质,方法包括:将样本图像输入教师ViT模型,得到N个编码器输出的特征图;将样本图像输入学生ViT模型,经N个编码器和筛选器进行编码和剪枝,得到N个筛选器输出的特征图;筛选器用于筛选出满足预设筛选条件的特征图;根据教师ViT模型中N个编码器输出的特征图和学生ViT模型中N个筛选器输出的特征图,计算预设损失函数的损失值以对学生ViT模型进行训练。通过学生ViT模型的筛选器筛选出满足预设筛选条件的特征图,筛除掉不满足筛选条件的特征图,本申请不满足筛选条件的特征图可理解为样本图像中不重要的特征图,不会对样本图像精度造成损失;特征图数量的减少,大幅度降低计算复杂度
  • 一种vit模型剪枝方法装置设备存储介质
  • [发明专利]图像识别模型的训练方法、装置、网络和图像识别方法-CN202210110008.8在审
  • 申啸尘;周有喜 - 新疆爱华盈通信息技术有限公司
  • 2022-01-29 - 2022-05-10 - G06V10/44
  • 本申请涉及图像识别模型的训练方法、装置、网络和图像识别方法,该训练方法包括通过得到卷积神经网络对应的预测标签值,将卷积神经网络中多个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取,以得到各个预设ViT网络对应的预测标签值和第一预设损失函数值,然后分别对各个预设ViT网络进行权重和偏置更新,根据卷积神经网络对应的预测标签值和各个预设ViT网络对应的预测标签值计算得到整合后的预测标签值,根据整合后的预测标签值、卷积神经网络对应的第二预设损失函数和真实标签值计算得到卷积神经网络对应的第二预设损失函数值生成图像识别模型,能够将传统的卷积神经网络结构和ViT网络进行融合。
  • 图像识别模型训练方法装置网络
  • [发明专利]图像识别模型的训练方法、训练装置和训练网络-CN202210110009.2在审
  • 申啸尘;周有喜 - 新疆爱华盈通信息技术有限公司
  • 2022-01-29 - 2022-05-06 - G06V10/44
  • 、训练网络和设备终端,该训练方法通过卷积神经网络对输入的训练图像数据集进行特征提取处理,以得到第一损失函数值,获取卷积神经网络中多个中间层输出的特征图,将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取处理,以得到各个预设ViT网络各自对应的第二损失函数值,根据各自对应的第二损失函数值,分别对各个预设ViT网络进行权重和偏置更新,根据第一损失函数值和各个预设ViT网络各自对应的第二损失函数值对卷积神经网络进行权重和偏置更新上述训练方法能够将传统的卷积神经网络结构和ViT网络进行融合。
  • 图像识别模型训练方法装置网络

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top