[发明专利]一种基于元学习的神经网络优化方法及装置有效
| 申请号： | 201910173076.7 | 申请日： | 2019-03-07 |
| 公开（公告）号： | CN109961142B | 公开（公告）日： | 2023-05-12 |
| 发明（设计）人： | 蔡富琳;谭奔;刘大鹏;肖磊 | 申请（专利权）人： | 腾讯科技（深圳）有限公司 |
| 主分类号： | G06N3/09 | 分类号： | G06N3/09;G06N3/063 |
| 代理公司： | 广州三环专利商标代理有限公司 44202 | 代理人： | 郝传鑫;贾允 |
| 地址： | 518057 广东省深圳*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于元学习的神经网络优化方法及装置，所述方法包括：部署多个机器学习任务，每个机器学习任务均运行于学习框架中，每个学习框架均包括神经网络本体和神经网络优化器，所述神经网络优化器用于对与其对应的神经网络本体的参数权重进行调整；设置元学习组合优化器；基于所述元学习组合优化器拟合机器学习任务运行过程中各个神经网络组合的状态特征与质量参数的映射关系；响应于优化指令，使用所述元学习组合优化器输出组合优化策略；使用所述组合优化策略对待优化的神经网络进行优化。本发明可以为各种学习任务自适应输出表现较佳的优化器及其组合，从而得到最佳优化效果。 | ||
| 搜索关键词： | 一种 基于 学习 神经网络 优化 方法 装置 | ||
【主权项】：
1.一种基于元学习的神经网络优化方法，其特征在于，所述方法包括：部署多个机器学习任务，每个机器学习任务均运行于学习框架中，每个学习框架均包括神经网络本体和神经网络优化器，所述神经网络优化器用于对与其对应的神经网络本体的参数权重进行调整；设置元学习组合优化器；基于所述元学习组合优化器拟合机器学习任务运行过程中各个神经网络组合的状态特征与质量参数的映射关系，每个神经网络组合中包括至少一个神经网络，所述神经网络包括神经网络本体、所述神经网络本体对应的参数、所述神经网络本体对应的优化器；响应于优化指令，使用所述元学习组合优化器输出组合优化策略，所述组合优化策略包括满足预设要求的神经网络组合所对应的优化器组合；使用所述组合优化策略对待优化的神经网络进行优化。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于腾讯科技（深圳）有限公司，未经腾讯科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910173076.7/，转载请声明来源钻瓜专利网。
- 上一篇：用于生成量化神经网络的方法和装置
- 下一篇：RNN模型的逐点损失估计优化方法
- 同类专利
- 基于构造样本相似度的风险评估模型的训练方法-202310680341.7
- 聂冰冰;王情帆;尚诗;李泉;李升波;周青 - 清华大学
- 2023-06-09 - 2023-10-27 - G06N3/09
- 本申请涉及一种基于构造样本相似度的风险评估模型的训练方法及装置、乘员损伤风险评估方法及装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取真实样本和反映关键特征信息与乘员损伤信息的相关关系的构造样本；通过真实样本训练第一风险评估子网络；通过真实样本和构造样本训练特征提取子网络；将碰撞特征信息输入训练后的第一风险评估子网络，获取第一编码信息；将真实样本输入训练后的特征提取子网络，获取第二编码信息；将第一和第二编码信息输入第二风险评估子网络，得到乘员损伤评估信息，根据损伤评估信息和损伤真值信息训练得到风险评估模型。采用本方法训练得到的风险评估模型可以提高乘员损伤风险评估结果的可靠性。
- 一种多类中心动态对比学习方法及系统-202310832565.5
- 田青;杜晓欣;程耀 - 南京信息工程大学
- 2023-07-08 - 2023-10-03 - G06N3/09
- 本发明公开了一种多类中心动态对比学习方法及系统，涉及无监督域适应行人重识别技术领域，方法包括以下步骤：接收源域数据集，将源域数据集输入至预先建立的跨域行人重识别的源模型内，得到源模型和权重文件；加载源模型和权重文件，得到平均模型和原模型，利用平均模型提取目标域样本特征，利用目标域样本特征进行多类中心聚类，得到样本伪标签和多类中心；利用平均模型提取当前批次样本特征，计算当前批次样本特征与多类中心的相似概率，利用相似概率对样本伪标签进行优化，得到动态伪标签；利用动态伪标签计算得出动态对比损失，将损失输入原模型内进行监督训练至原模型收敛，利用原模型参数动量更新平均模型参数，得到性能最好的平均模型。
- 脉冲星搜索网络训练方法、脉冲星搜索方法、装置、设备-202210226661.0
- 程小峰;王亚彪;丁玫菲;谢鸣;游善平;甘振业;李昱希;罗泽坤;孙众毅;黄飞跃 - 腾讯科技（深圳）有限公司
- 2022-03-09 - 2023-09-22 - G06N3/09
- 本发明提供了一种脉冲星搜索网络训练方法，包括：基于训练样本集合和所述候选体的脉冲轮廓图像，对脉冲星搜索网络的主干网络进行第一训练，确定主干网络的初始网络参数；基于训练样本集合和所述和脉冲星标签值，对脉冲星搜索网络的主干网络进行第二训练，得到脉冲星搜索网络的主干网络的目标参数，由此，能够在减少训练数据总量和无需重进行监督训练的前提下，稳定提高脉冲星搜索网络训练训练的准确率，减轻脉冲星搜索网络的过拟合，增强脉冲星搜索网络模型的泛化能力。本发明还提供了脉冲星搜索方法、装置、电子设备、计算机程序产品以及存储介质。本发明实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景。
- 使用监督和无监督机器学习模型的基于时间的聚合学习的系统、方法和计算机程序产品-202280002214.5
- Y·程;谷雨;S·P·汉密尔顿 - 维萨国际服务协会
- 2022-01-20 - 2023-09-22 - G06N3/09
- 提供用于利用机器学习模型聚合学习的系统，所述系统包括处理器，用于：接收多个数据实例的训练数据集，其中每个数据实例包括数据点的时间序列；将时间延迟量添加到一个或多个数据实例以提供经扩增的训练数据集；选择第一多个监督机器学习模型；选择第二多个无监督机器学习模型；基于所述经扩增的训练数据集训练所述第一多个监督机器学习模型和所述第二多个无监督机器学习模型；基于所述监督机器学习模型和所述无监督机器学习模型的输出生成聚合机器学习模型；以及基于所述聚合机器学习模型的运行时输入生成所述聚合机器学习模型的运行时输出。还提供了方法和计算机程序产品。
- 一种分布式风电机组边端故障诊断模型轻量化方法及系统-202310860028.1
- 焦旭芬;陈睿恩;柴昊祺;胥芳 - 浙江工业大学
- 2023-07-13 - 2023-09-22 - G06N3/09
- 本发明涉及一种分布式风电机组边端故障诊断模型轻量化方法，包括：使用教师网络在每个迭代周期中进行知识蒸馏，生成蒸馏后的知识；使用学生网络在每个迭代周期中基于蒸馏后的知识更新稀疏修剪算法，对分布式风电机组边端故障诊断模型进行修剪，并生成下一迭代周期的教师网络；使用教务长网络计算学生网络的可蒸馏性和可稀疏性，根据可蒸馏性调整知识蒸馏的强度，根据可稀疏性调整稀疏修剪算法。本发明的方法对故障诊断模型分层化处理，分析模型的可蒸馏性和可稀疏性，用结构化模型剪枝、低秩分解、参数量化方法，构建适用于分布式风电机组边端故障诊断的轻量化模型，实现诊断性能与诊断开销的平衡。
- 基于人机交互模型或大模型的数据处理方法、服务器-202310777685.X
- 郁博文;宋非凡;余海洋;李永彬;黄非 - 阿里巴巴（中国）有限公司
- 2023-06-28 - 2023-09-15 - G06N3/09
- 本申请提供一种基于人机交互模型或大模型的数据处理方法、服务器。本申请的方法，通过预训练人机交互模型生成输入样本的多个答复信息，获取各答复信息的输出概率；将输入样本的多个答复信息按答复质量进行排序，根据输入样本的多个答复信息的排序结果和各答复信息的输出概率，优化预训练人机交互模型的参数，基于反映人类对同一输入样本的多个答复信息的偏好的排序结果，通过有监督学习训练优化模型参数，相较于强化学习的训练方法更加简单高效且稳定，可快速有效地获取到与人类偏好对齐的人机交互模型，提升人机交互模型生成答复信息与人类偏好的对齐程度，从而提升人机交互模型生成答复信息的质量，提升人工智能系统的人机交互质量。
- 逻辑编排预测模型训练方法、逻辑编排方法和装置-202310715015.5
- 王立林;杨丹;朱毅文;张丹枫 - 中国工商银行股份有限公司
- 2023-06-15 - 2023-09-15 - G06N3/09
- 本申请涉及一种逻辑编排预测模型训练方法、逻辑编排方法、装置、计算机设备、存储介质和计算机程序产品，涉及计算机技术领域，可用于金融科技领域或其他相关领域。该方法包括：针对低代码平台中的每个样本逻辑，构建样本逻辑的语法树；基于语法树，确定样本逻辑的逻辑序列向量；对逻辑序列向量进行滑窗处理，得到样本逻辑的至少一个逻辑序列子向量；将逻辑序列子向量在逻辑序列向量中的下一个向量元素对应的组件，确认为逻辑序列子向量的目标组件；以逻辑序列子向量为输入信息，以逻辑序列子向量的目标组件为监督信息，对待训练的逻辑编排预测模型进行训练，得到训练完成的逻辑编排预测模型。采用本方法，能够提高低代码平台中的逻辑编排效率。
- 换道决策网络的训练方法、装置、计算机设备及存储介质-202310714278.4
- 熊方舟;请求不公布姓名;请求不公布姓名 - 北京集度科技有限公司
- 2023-06-15 - 2023-09-05 - G06N3/09
- 本公开提供了一种换道决策网络的训练方法、装置、计算机设备及存储介质，其中，该方法包括：获取前一训练阶段训练完成的初始决策网络，以及当前训练阶段的换道场景信息；其中，不同训练阶段的换道场景类型不同；确定所述初始决策网络中各网络参数分别对应的重要性信息；基于所述初始决策网络中的初始权重信息、所述当前训练阶段的换道场景信息以及所述各网络参数分别对应的重要性信息，对所述初始决策网络进行训练，得到当前训练阶段的目标决策网络。
- 深度学习模型的训练方法、目标对象检测方法及装置-202310661523.X
- 田野 - 北京百度网讯科技有限公司
- 2023-06-06 - 2023-08-29 - G06N3/09
- 本公开提供了深度学习模型的训练方法、目标对象检测方法及装置，涉及人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于自动驾驶、智能交通等场景。该训练方法的具体实现方案为：将训练样本中的样本图像输入深度学习模型，输出多个样本检测信息，训练样本还包括样本标签，多个样本检测信息与样本图像中的至少一个目标对象相关；根据多个样本检测信息之间的相关度，从多个样本检测信息中确定N个样本检测信息集；根据第一损失函数，处理样本标签和样本检测信息集中的样本检测信息，得到与样本检测信息集对应的第一损失值；根据第二损失函数和第一损失值训练深度学习模型，得到训练后的深度学习模型。
- 模型训练方法、装置、设备及存储介质-202310444646.8
- 曾炜;陈建平;袁孝宇 - 北京大学
- 2023-04-23 - 2023-08-29 - G06N3/09
- 本申请涉及一种模型训练方法、装置、设备及存储介质，该方法在神经网络模型训练的过程中，引入第一特征空间，并获取当前训练图像在第一特征空间中的第一类特征，进一步计算第一类特征与第一特征组中各特征的相似度，得到第一相似度组，以第一相似度组校正与神经网络模型的第二特征空间相关的第二相似度组，使得校正后的校正相似度组关注到与当前训练图像属于相同语义类别但相似度较低的样本，从而缓解了不可靠样本带来的错误指导。
- 基于网页搜索的意图分析大模型训练方法及相关设备-202310436424.1
- 王玉龙;苏森;朱昊 - 北京邮电大学
- 2023-04-21 - 2023-08-29 - G06N3/09
- 本申请提供一种基于网页搜索的意图分析大模型训练方法及相关设备，包括：获取原始数据集及神经网络模型；根据所述原始数据对所述神经网络模型进行自监督训练，得到预训练模型；获取搜索记录，并进行标注，生成训练数据；根据所述训练数据及预设反馈数据对所述预训练模型训练，得到目标训练模型。该方法通过标注合格的搜索动作数据，并将合格的搜索动作数据作为训练数据，利用训练数据及预设反馈数据对模型进行训练，使得目标训练模型的意图分析过程更加准确，预测结果更加准确，从而提高了网页搜索意图分析和预测的准确性和高效性。
- 一种使用二维切片训练三维地震断层检测卷积神经网络的方法-202310652507.4
- 李克文;窦一民;朱信源;肖媛;姚贤哲 - 中国石油大学（华东）
- 2023-06-05 - 2023-08-29 - G06N3/09
- 本发明涉及一种使用二维切片训练三维地震断层检测卷积神经网络的方法。其特征在于，获取3D地震数据，并沿Inline方向切成2D图像；每隔N张2D图像标注一张2D断层标签，并将标注好的标签插入原始地震数据对应的位置，对未标注断层的切片进行标记，以制作3D地震断层标签体；设定滑动窗口大小为n×n×n，n的取值范围为32到256，对地震数据和对应的标签体进行滑动切块，以制作训练样本；构造符合自编码器结构的3D卷积神经网络；选择交叉熵或DICE损失函数；训练所述神经网络，将切块后的地震数据输入网络，并使用对应的标签体进行监督，计算损失时，不计算未标记断层切片的损失。
- 基于图像的处理方法和设备-202080107898.6
- 孙昊;程泽;高煜;查普夫·M·P;王炜 - 罗伯特·博世有限公司
- 2020-12-15 - 2023-08-18 - G06N3/09
- 提供了一种基于单幅图像的处理方法。该方法包括接收单幅图像，所述单幅图像至少示出了雨痕或雪痕；将所述单幅图像输入第一卷积神经网络以对所述单幅图像执行基于计算机视觉的处理，所述第一卷积神经网络是根据第一图像和第二图像训练获得的，其中，所述第一图像至少示出了雨痕或雪痕，并且所述第二图像是通过对所述第一图像进行风格化处理得到的。由此，针对包括雨痕或雪痕的图像，改进了基于计算机视觉的处理/感知的鲁棒性和准确性，同时能够实现实时的处理/感知。
- 使用基于图的时间分类训练神经网络-202180071325.7
- N·莫里茨;堀贵明;J·勒鲁克斯 - 三菱电机株式会社
- 2021-07-02 - 2023-08-04 - G06N3/09
- 提供了一种用于使用由代表标签和标签之间的转移的边连接的节点的有向图，用基于图的时间分类(GTC)目标函数来训练神经网络的方法。有向图指定了标签序列和概率分布序列之间的非单调对齐以及对标签重复的约束中的一种或组合。该方法包括：实施神经网络，以将观察序列变换为概率分布序列；以及基于GTC目标函数更新神经网络的参数，GTC目标函数被配置为使通过将有向图展开到观察序列的长度并将每个展开的节点和边的序列映射到可能的标签序列而生成的所有可能的标签序列的条件概率之和最大化。
- 用于模型蒸馏的方法和装置-202011473800.7
- 杨馥魁 - 北京百度网讯科技有限公司
- 2020-12-15 - 2023-08-01 - G06N3/09
- 本申请公开了用于模型蒸馏的方法和装置，涉及人工智能技术领域，具体涉及深度学习和计算机视觉技术领域。具体实施方式包括：利用教师模型和学生模型，得到教师模型对应的特征和学生模型对应的特征；确定教师模型对应教师类别中心，并确定学生模型对应的学生类别中心；利用教师类别中心，监督与教师类别中心的类别相同的学生类别中心，得到训练后模型。本申请可以通过教师模型的特征中心，对学生模型的特征中心进行监督，以丰富模型的蒸馏方式。同时，可以提高蒸馏后的模型对不同类别目标的检测精度和检测速度。进一步地，有助于降低执行设备的延时，减少内存等计算资源的占用和消耗。
- 用于优化计算机机器学习的方法和系统-201880029137.6
- E.S.博伊尔;D.西布利 - 史迪奇菲克斯公司
- 2018-04-17 - 2023-07-14 - G06N3/09
- 在一个实施例中，一种用于优化计算机机器学习的方法包括接收优化目标。优化目标用于搜索基础选项候选者（BOC）的数据库，以标识至少部分地与该目标匹配的匹配BOC。接收在匹配BOC当中对所选基础选项的选择。至少部分地基于该目标来选择（一个或多个）机器学习预测模型，以确定与所选基础选项的替代特征相关联的预测值，其中使用训练数据来训练该（一个或多个）模型，以至少为这些模型标识与替代特征相关联的权重值。基于预测值，对替代特征的至少一部分进行排序以生成有序列表。提供有序列表，以用于在制造具有该有序列表中的（一个或多个）替代特征的所选基础选项的替代版本中使用。
- 基于测试结果数据学习痴呆症识别模型的方法-202211681428.8
- 金浩永;金建何;金甫熙;金东汉;黄慧彬;朴灿永;崔池安;金保利 - 海益股份公司
- 2022-12-27 - 2023-07-07 - G06N3/09
- 本发明的实施例公开痴呆症识别模型学习方法。上述痴呆症识别模型学习方法可包括如下步骤：通过有关斯楚普测试(stroop test)的第一任务(task)、有关计算能力测试的第二任务及有关记忆能力测试的第三任务中的至少一个获得测试结果数据；以及向上述测试结果数据标上分数值来使痴呆症识别模型进行学习。
- 一种服务器端与客户端双端性能提升的联邦学习方法-202310287644.2
- 许辉;王衍松;阿里·瓦格尔;邓世龙;黎昊睿;邵杰 - 四川省人工智能研究院（宜宾）
- 2023-03-23 - 2023-07-04 - G06N3/09
- 本发明公开了一种服务器端与客户端双端性能提升的联邦学习方法，包括以下步骤：S1：利用中心服务器初始化模型并分发给所有客户端；S2：利用客户端接收模型，将模型的特征提取器与本地模型的分类器进行拼接，得到最新本地模型；S3：对最新本地模型进行训练；S4：聚合生成最新特征提取器；S5：将最新特征提取器发送至下一轮进行训练的客户端中；S6：重复步骤S2‑S5，直至最新本地模型收敛，完成联邦学习。本发明可有效地提高客户端模型的个性化能力，服务器上的分类器聚合模块在训练期间收集客户端个性化分类器。
- Bert模型的预训练方法、装置、电子设备及存储介质-202310304871.1
- 刘羲;周涵;舒畅;陈又新 - 平安科技（深圳）有限公司
- 2023-03-14 - 2023-06-27 - G06N3/09
- 本发明涉及人工智能技术，揭露了一种Bert模型的预训练方法，包括：对获取的打标签后的训练文本集中文本进行掩码，得到标准训练文本集；提取打标签后的训练文本集的标签特征，并对标准训练文本集进行掩码预测，得到预测后的文本集；计算提取的标签特征与预测后的文本集对应的真实标签特征的第一损失值；计算预测后的文本集与打标签后的训练文本集对应的真实文本的第二损失值；根据第一损失值及第二损失值，计算综合损失值；当综合损失值不满足训练结束条件时，调整Bert模型参数；当综合损失值满足训练结束条件时，退出训练得到目标Bert模型。本发明还提出一种Bert模型的预训练装置、电子设备以及存储介质。本发明可以提升Bert模型预训练的准确性以及效率。
- 一种Seq2Seq模型训练方法、装置、介质和设备-201911284649.X
- 周思丞;苏少炜;陈孝良;常乐 - 北京声智科技有限公司
- 2019-12-13 - 2023-06-20 - G06N3/09
- 本发明涉及一种Seq2Seq模型训练方法、装置、介质和设备。本发明实施例提供的方案中提出，确定损失函数时，可以加大错误位置对应的误差的比重，设置错误文本中错误位置对应的误差的比重，大于错误文本中正确位置对应的误差的比重。这样，在通过损失函数调整Seq2Seq模型时，可以使得模型首先考虑降低错误位置对应的误差，更好地完成文本纠错，从而提高训练出的模型用于文本纠错时的准确性。
- 一种基于深度学习模型训练的区块链共识方法和系统-202010318933.0
- 李引 - 广州中科易德科技有限公司
- 2020-04-21 - 2023-06-09 - G06N3/09
- 本发明公开了一种基于深度学习模型训练的区块链共识方法和系统，该系统包括参数和数据获取器、共识算法调度器、深度学习模型训练器和共识验证器；可与现有的区块链系统进行对接，取代POW/POS/POA等共识算法。本发明将区块链过剩的算力引入深度学习模型训练中，通过区块链的激励机制，使得投资人能够将矿机用于进行人工智能模型的训练，能够引导将资金、算力、能源投入到更加有意义的工作上，解决算力不足费用昂贵的问题。将区块链的POW算力用来进行大数据的深度学习模型训练计算，降低了成本，节约了社会资源，将算力用到了有意义的工作上。
- 用于交易数据处理的机器学习系统的训练-202180053952.8
- K·王;D·萨顿;A·巴恩斯-格雷厄姆;I·佩雷斯 - 菲彻思贝斯有限公司
- 2021-05-24 - 2023-05-30 - G06N3/09
- 描述了一种训练监督机器学习系统以检测交易数据中的异常的方法。该方法包括：获取数据样本的训练集；将指示不存在异常的标签分配给训练集中的未标记数据样本；将训练集中数据样本的数据划分为两个特征集，即表示可观察特征的第一特征集和表示上下文特征的第二特征集；通过将来自分别与两个不同的唯一可识别实体相关的两个特征集的特征组合，来生成合成数据样本；为合成数据样本分配指示存在异常的标签；用合成数据样本增强训练集；以及利用增强的训练集和分配的标签训练监督机器学习系统。
- 模型训练方法、装置、电子设备和计算机可读介质-202310146440.7
- 袁飞杨 - 禾多科技（北京）有限公司
- 2023-02-22 - 2023-05-23 - G06N3/09
- 本公开的实施例公开了模型训练方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取图像序列；对于每个图像，执行模型训练步骤：将图像输入至初始拍摄距离估计网络，以输出初始拍摄距离值集；确定与图像相邻的图像，作为相邻图像；将图像和每个相邻图像输入至初始姿态变换确定网络，得到姿态变换信息序列；生成距离损失信息；生成重构图像集；生成图像特征匹配损失信息集组；对初始拍摄距离估计网络和初始姿态变换确定网络进行网络训练，得到训练后的拍摄距离估计网络和训练后的姿态变换确定网络。该实施方式可以得到估计拍摄距离更为精准的拍摄距离估计网络和确定姿态变换信息更为精准的姿态变换确定网络。
- 智能家居气泡创建-202180062854.0
- S·克瓦特拉;A·L·格里芬;L·S·哈普尔;S·K·拉克希特 - 国际商业机器公司
- 2021-09-06 - 2023-05-12 - G06N3/09
- 由边缘设备识别第一动作(510)。第一动作与环境中的多个联网设备中的第一联网设备相关联。由边缘设备识别第二动作(520)。第二动作与环境中的多个联网设备中的第二联网设备相关联。第二联网设备与第一联网设备无关。由边缘设备检测第一联网设备与第二联网设备之间的关系(530)。由边缘设备生成网络设备气泡(550)。网络设备气泡基于检测到的关系。
- 一种基于元学习的神经网络优化方法及装置-201910173076.7
- 蔡富琳;谭奔;刘大鹏;肖磊 - 腾讯科技（深圳）有限公司
- 2019-03-07 - 2023-05-12 - G06N3/09
- 本发明公开了一种基于元学习的神经网络优化方法及装置，所述方法包括：部署多个机器学习任务，每个机器学习任务均运行于学习框架中，每个学习框架均包括神经网络本体和神经网络优化器，所述神经网络优化器用于对与其对应的神经网络本体的参数权重进行调整；设置元学习组合优化器；基于所述元学习组合优化器拟合机器学习任务运行过程中各个神经网络组合的状态特征与质量参数的映射关系；响应于优化指令，使用所述元学习组合优化器输出组合优化策略；使用所述组合优化策略对待优化的神经网络进行优化。本发明可以为各种学习任务自适应输出表现较佳的优化器及其组合，从而得到最佳优化效果。
- 图像分类网络的训练方法、图像分类方法、设备及介质-202211717731.9
- 杨航 - 深圳市凌云视迅科技有限责任公司
- 2022-12-29 - 2023-05-05 - G06N3/09
- 本说明书涉及一种图像分类网络的训练方法、图像分类方法、设备及介质。其中，训练方法包括：确定样本数据的难度值；基于难度值和预设比例对样本数据进行分组，获得多个样本数据组；各个样本数据组中样本数据的难度值范围不同；基于多个样本数据组对预先构建的图像分类网络进行至少两轮训练，以得到目标图像分类网路；其中，在每轮训练中，采用的样本集不同，后一轮训练采用的样本集中样本数据组的数量大于前一轮训练采用的样本集中样本数据组的数量；样本集至少包括一个样本数据组。本说明书的实施例根据样本数据的难度对其进行分组，利用分组后的样本数据组对图像分类网络进行多轮训练，从而提升图像分类网络的精度和鲁棒性。
- 一种基于深度学习的风电功率短期预测模型-202310088915.1
- 张光昊;张新燕;王朋凯;廖世强;刘莎莎;施锐;宋旭;黄利祥;马瑞真;梁帅 - 新疆大学
- 2023-02-03 - 2023-05-02 - G06N3/09
- 本发明公开了一种基于深度学习的风电功率短期预测模型，包括以下步骤：获取风力发电功率及NWP原始数据；将数据缺失值使用均值填补补全；使用皮尔逊相关性分析将数据降维，剔除不必要的特征；本发明通过采用基于深度学习的风电功率短期预测模型对风电功率进行短期预测，一方面承认事物发展的延续性，运用过去的时间序列数据进行统计分析，推测出事物的发展趋势；另一方面充分考虑到由于偶然因素影响而产生的随机性，为了消除随机波动产生的影响，利用历史数据进行统计分析，并对数据进行适当处理，进行趋势预测，解决了数据特征间信息提取不充分的问题，进一步提高了模型的预测精度。
- 学习速率自调节方法、装置、终端设备和可读存储介质-202010438310.7
- 刘海军;李清江;陈长林;李纪伟;李楠;徐晖;刁节涛;宋兵;刘森;王义楠;王伟;于红旗;李智炜;步凯;王玺 - 中国人民解放军国防科技大学
- 2020-05-21 - 2023-04-28 - G06N3/09
- 本发明实施例公开了一种学习速率自调节方法、装置、终端设备和可读存储介质，应用于忆阻器脉冲神经网络，所述忆阻器脉冲神经网络中每一突触仅包含一个忆阻器，该方法包括：根据所述忆阻器的实时电导值获取所述忆阻器的实时权值；获取所述忆阻器的电导的非线性度值；根据所述非线性度值确定对应的忆阻器电导响应参数；根据忆阻器两端的电势差、忆阻器电导响应参数和所述实时权值确定所述非线性度值对应的所述忆阻器的权值更新量以调节学习速率。本发明利用忆阻器的非线性电导响应特性，实现在训练初期较快的调整忆阻器的权值，随着训练时间的增加，逐渐减缓对忆阻器的权值的调整。
- 用于训练机器学习模型以从对象的图像中识别对象的对象拓扑的设备和方法-202180046806.2
- M·斯皮斯;A·G·库普奇克 - 罗伯特·博世有限公司
- 2021-06-22 - 2023-04-25 - G06N3/09
- 根据各种实施例，描述了一种用于训练机器学习模型以从对象的图像中识别对象的对象拓扑的方法，包括获得对象的3D模型，其中3D模型包括由边连接的顶点的网格，其中每个边具有指定对象中由边连接的两个顶点的接近度的权重，通过搜索顶点的描述符来确定所述网格的每个顶点的描述符，所述顶点的描述符最小化由顶点对之间的边的权重加权的顶点对的描述符之间的距离在连接顶点对之上的和，生成训练数据图像对，其中每个训练数据图像对包括示出对象和目标图像的训练输入图像，并且其中生成目标图像包括确定对象的对象模型的顶点在训练输入图像中顶点具有的顶点位置，并且对于训练输入图像中的每个确定的顶点位置，将为顶点位置处的顶点确定的描述符分配给目标图像中的位置，并且使用训练数据图像对作为训练数据通过监督学习来训练机器学习模型。
- 一种神经网络训练方法、装置、计算设备及存储介质-202211517825.1
- 赵娟萍 - 哲库科技（上海）有限公司
- 2022-11-30 - 2023-04-18 - G06N3/09
- 本申请涉及一种神经网络训练方法、装置、计算设备及存储介质，其中，所述方法包括：获取第一神经网络模型和第二神经网络模型；根据该第一神经网络模型和该第二神经网络模型，对超网络在超网络的子网络维度进行双网知识蒸馏的联合训练，得到目标神经网络；其中，该目标神经网络为已训练好的超网络。采用本申请，通过双网络联合知识蒸馏提高了网络性能。
- 专利分类
