|
钻瓜专利网为您找到相关结果 156个,建议您 升级VIP下载更多相关专利
- [发明专利]神经网络模型的蒸馏方法和装置-CN202010387563.6有效
-
希滕;张刚;温圣召
-
北京百度网讯科技有限公司
-
2020-05-09
-
2023-10-27
-
G06N3/082
- 本申请涉及人工智能领域,公开了神经网络模型的蒸馏方法和装置。该方法包括:构建蒸馏策略的搜索空间;通过执行多次迭代操作对第二神经网络模型进行蒸馏训练,迭代操作包括:采用预设的控制器从蒸馏策略的搜索空间中搜索出候选蒸馏策略,基于候选蒸馏策略,将预设的至少一个第一神经网络模型作为教师网络对第二神经网络模型进行蒸馏训练;获取基于候选蒸馏策略蒸馏后的第二神经网络模型的性能,并根据蒸馏后的第二神经网络模型的性能生成反馈信息;根据反馈信息更新控制器;响应于根据反馈信息确定当前的迭代操作未达到预设的收敛条件,基于更新后的控制器执行下一次迭代操作。该方法实现了最优蒸馏策略的自动搜索。
- 神经网络模型蒸馏方法装置
- [发明专利]超网络的训练方法和装置-CN202010383356.3有效
-
希滕;张刚;温圣召
-
北京百度网讯科技有限公司
-
2020-05-08
-
2023-10-20
-
G06N3/082
- 本申请涉及人工智能领域,公开了超网络的训练方法和装置。该方法包括:获取样本数据;将待训练的超网络作为初始的当前超网络,迭代执行多次裁剪训练操作直到当前超网络的各个特征提取层保留的连接数均为1;响应于确定裁剪完成的超网络未达到预设的收敛条件,基于样本数据对裁剪完成的超网络进行训练;裁剪训练操作包括:对当前超网络进行训练;利用训练后的当前超网络对图像数据进行特征提取得到第一特征图;对训练后的超网络中的特征提取层分别进行N次裁剪,利用裁剪后的超网络分别对图像数据进行特征提取得到N组第二特征图;确定与第一特征图的距离最小的一组第二特征图对应的裁剪后的超网络为新的当前超网络。该方法提升了超网络的准确性。
- 网络训练方法装置
- [发明专利]用于搜索模型结构的方法和装置-CN202010503205.7有效
-
希滕;张刚;温圣召
-
北京百度网讯科技有限公司
-
2020-06-05
-
2023-10-20
-
G06N3/044
- 本申请公开了用于搜索模型结构的方法和装置,涉及人工智能、深度学习和图像处理技术领域。该方法包括:获取训练数据集;初始化模型结构的搜索空间、模型结构生成器,并进行迭代操作:利用预设数量个模型结构生成器在搜索空间中搜索候选模型结构;从训练数据集中选取预设数量个训练数据组,生成预设数量个与各模型结构生成器一一对应的训练数据组集合;利用各模型结构生成器对应的训练数据组集合对模型结构生成器生成的候选模型结构进行训练;根据训练后的候选模型结构的性能生成反馈信息,根据反馈信息在下一次迭代前更新模型结构生成器直到达到预设收敛条件,将当前迭代操作中的候选模型结构确定为目标模型结构。采用本方法可以提高搜索模型结构的准确性以及搜索效率。
- 用于搜索模型结构方法装置
- [发明专利]用于获取样本的方法及装置-CN202010112532.X有效
-
希滕;张刚;温圣召
-
北京百度网讯科技有限公司
-
2020-02-24
-
2023-10-10
-
G06N3/044
- 本公开的实施例公开了用于获取样本的方法及装置。该方法的一具体实施方式包括:通过当前的反馈奖励值对预设的样本筛选控制器进行更新,得到更新后的样本筛选控制器,并通过上述更新后的样本筛选控制器从样本空间中生成候选数据样本集合;基于预设的基准模型对上述候选数据样本集合进行检测,确定候选数据样本的样本损失函数;基于上述样本损失函数更新上述反馈奖励值;响应于上述反馈奖励值达到预设的收敛条件或者上述迭代操作的累计次数达到预设的迭代次数阈值,确定当前的候选数据样本为有效数据样本。该实施方式提高了获取有效数据样本的效率,降低了数据处理量,节约了硬件的内存空间。
- 用于获取样本方法装置
- [发明专利]用于对模型蒸馏的方法和装置-CN202010388503.6有效
-
希滕;张刚;温圣召
-
北京百度网讯科技有限公司
-
2020-05-09
-
2023-10-03
-
G06N3/08
- 本申请公开了用于对模型蒸馏的方法和装置,涉及计算机视觉技术领域。具体实施方式包括:获取目标模型的训练脚本,以及与所述目标模型的蒸馏相关联的蒸馏相关参数;确定包含所述蒸馏相关参数的多个候选值的搜索空间;将所述训练脚本作为第一组件,并调用所述第一组件,在所述搜索空间中搜索所述蒸馏相关参数的一个候选值,作为用于对目标模型进行蒸馏的目标值。本申请可以将训练脚本进行组件化,从而实现在不修改训练脚本中的模型脚本的情况下,实现自动化搜索蒸馏相关数据的目标值,避免了在训练脚本中硬编码蒸馏脚本带来的高耦合度,同时提高了对模型进行蒸馏的灵活性。
- 用于模型蒸馏方法装置
- [发明专利]用于搜索模型结构的方法和装置-CN202010503202.3有效
-
希滕;张刚;温圣召
-
北京百度网讯科技有限公司
-
2020-06-05
-
2023-09-26
-
G06F18/24
- 本申请公开了用于搜索模型结构的方法和装置,涉及人工智能、深度学习和图像处理技术领域。该方法包括:获取待替换模型结构在至少一个预设召回率下的分类阈值;确定模型结构的搜索空间,初始化模型结构生成器,并迭代以下步骤:利用模型结构生成器在搜索空间中搜索出候选模型结构,训练候选模型结构并获取训练后的候选模型结构在各预设召回率下的分类阈值;根据训练后的候选模型结构与待替换模型结构在同一预设召回率下的分类阈值之间的差异生成反馈信息,并在执行下一次迭代前基于该反馈信息更新模型结构生成器;当模型结构生成器达到预设的收敛条件时停止迭代,将当前迭代操作中的候选模型结构确定为目标模型结构。采用本方法可以提高搜索模型结构的准确性。
- 用于搜索模型结构方法装置
|