[发明专利]多任务训练方法和装置、存储介质及电子设备在审
| 申请号： | 202310365148.4 | 申请日： | 2023-03-31 |
| 公开（公告）号： | CN116957070A | 公开（公告）日： | 2023-10-27 |
| 发明（设计）人： | 吴成岳;王腾;葛艺潇;罗平;单瀛 | 申请（专利权）人： | 腾讯科技（深圳）有限公司 |
| 主分类号： | G06N3/0985 | 分类号： | G06N3/0985;G06N3/04;G06F18/22;G06F17/16 |
| 代理公司： | 北京康信知识产权代理有限责任公司 11240 | 代理人： | 周婷婷 |
| 地址： | 518000 广东省深圳*** | 国省代码： | 广东;44 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本申请公开了一种多任务训练方法和装置、存储介质及电子设备。该方法包括：获取在预训练网络中对多任务的任务数据进行预训练后得到的任务参数集；获取与当前任务的当前任务参数子集相匹配的当前任务表征；利用当前任务表征以及与任务参数集中参考任务参数子集相匹配的参考任务表征，确定出当前任务和与参考任务参数子集对应的参考任务之间的任务相似度；在根据任务相似度从参考任务中确定出与当前任务关联的相似任务的情况下，对相似任务的相似任务参数子集进行加权插值融合，得到目标任务参数子集；利用目标任务参数子集对预训练网络进行训练。解决了现有技术受限于单一的下游任务数据造成的训练后得到的神经网络模型的泛化性能较差的技术问题。 | ||
| 搜索关键词： | 任务 训练 方法 装置 存储 介质 电子设备 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于腾讯科技（深圳）有限公司，未经腾讯科技（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310365148.4/，转载请声明来源钻瓜专利网。
- 同类专利
- 训练神经网络模型的方法及装置-202310870455.8
- 王珺 - 腾讯科技（深圳）有限公司
- 2023-07-14 - 2023-10-27 - G06N3/0985
- 本公开的实施例提供了一种训练神经网络模型的方法、装置、计算机程序产品和存储介质。所述方法包括：初始化信息处理神经网络模型和与信息处理神经网络模型对应的参考神经网络模型，其中，信息处理神经网络模型包括多个处理模块，参考神经网络模型包括多个参考模块；通过多次迭代，更新信息处理神经网络模型和参考神经网络模型的参数。本公开的方法能够降低神经网络模型训练的难度、提升神经网络模型的训练效率、提高模型训练的参数保密性、能够更好地应用于大型神经网络模型的训练场景或神经网络模型的实时训练场景，并避免神经网络训练过程中的坍塌问题。
- 多任务训练方法和装置、存储介质及电子设备-202310365148.4
- 吴成岳;王腾;葛艺潇;罗平;单瀛 - 腾讯科技（深圳）有限公司
- 2023-03-31 - 2023-10-27 - G06N3/0985
- 本申请公开了一种多任务训练方法和装置、存储介质及电子设备。该方法包括：获取在预训练网络中对多任务的任务数据进行预训练后得到的任务参数集；获取与当前任务的当前任务参数子集相匹配的当前任务表征；利用当前任务表征以及与任务参数集中参考任务参数子集相匹配的参考任务表征，确定出当前任务和与参考任务参数子集对应的参考任务之间的任务相似度；在根据任务相似度从参考任务中确定出与当前任务关联的相似任务的情况下，对相似任务的相似任务参数子集进行加权插值融合，得到目标任务参数子集；利用目标任务参数子集对预训练网络进行训练。解决了现有技术受限于单一的下游任务数据造成的训练后得到的神经网络模型的泛化性能较差的技术问题。
- 用于训练超网络的方法、装置、设备以及存储介质-202010479963.X
- 希滕;张刚;温圣召 - 北京百度网讯科技有限公司
- 2020-05-29 - 2023-10-24 - G06N3/0985
- 本申请公开了用于训练超网络的方法、装置、设备以及存储介质，涉及人工智能技术领域，更进一步涉及深度学习技术领域。具体实现方案为：根据预先建立的超网络的搜索空间，确定多个子网络集合；多次执行以下迭代操作：从子网络集合中选取多个子网络；对子网络以及超网络进行更新，从更新的子网络提取的特征中确定出对比特征，从更新的超网络中确定出对比超网络；基于提取的特征以及对比特征，对对比超网络进行更新；根据更新的对比超网络更新超网络。本实现方式训练得到的超网络精度更高，从超网络中采样出的子网络与独立训练的网络的性能一致。由此，在将本实现方式的超网络应用到图像处理领域时，基于NAS可以快速地搜索出性能优越的子网络。
- 神经网络模型搜索方法及装置、图像处理方法及装置-202010273488.0
- 希滕;张刚;温圣召;余席宇 - 北京百度网讯科技有限公司
- 2020-04-09 - 2023-10-24 - G06N3/0985
- 本申请公开了一种神经网络模型搜索方法及装置、图像处理方法及装置，涉及神经网络模型搜索领域。具体实现方案为：神经网络模型搜索方法，包括：利用性能预测模型，选取实际训练集；采用实际训练集中的各个子网络多次更新超网络；基于更新后的超网络的超参数，得到实际训练集中的各个子网络的评估性能；采用实际训练集中的各个子网络的评估性能更新性能预测模型，在性能预测模型或超网络的更新次数达到对应阈值的情况下，利用超网络的各个子网络的最终评估性能生成第一搜索结果。逐步提高性能预测模型的预测精确度以及超网络的搜索速度，进而提高了搜索得到子网络的性能，以及搜索子网络的效率。
- 用于训练预测模型的方法和装置-202010116709.3
- 希滕;张刚;温圣召 - 北京百度网讯科技有限公司
- 2020-02-25 - 2023-10-20 - G06N3/0985
- 本公开涉及人工智能领域。本公开的实施例公开了用于训练预测模型的方法和装置。该预测模型用于预测神经网络结构的性能，该方法包括通过采样操作训练预测模型；采样操作包括：从已训练完成的超网络中采样出子网络，并对采样出的子网络进行训练，得到训练完成的子网络的性能信息；基于训练完成的子网络和对应的性能信息构建样本数据，并利用样本数据训练预测模型；响应于确定当前采样操作中训练得到的预测模型的精度不满足预设的条件，执行下一次采样操作，并在下一次采样操作中增加采样的子网络的数量。该方法可以降低神经网络模型结构的搜索成本。
- 一种多智能体空战强化学习算法超参数确定方法-202310882126.5
- 邓红艳;陈治湘;雷祥;邓桂龙;何玲玥;庄天义;王修齐 - 邓红艳;陈治湘;雷祥;邓桂龙;何玲玥;庄天义;王修齐
- 2023-07-18 - 2023-10-13 - G06N3/0985
- 本发明提供了一种多智能体空战强化学习算法超参数确定方法，该方法为基于高斯过程回归的多智能体空战强化学习超参数调整方法，能够自动地确定最优的超参数值。与人工调参相比，有更好的收敛效果，节约人力，无需依赖专家的经验知识。
- 对自动标注装置的超参数进行优化的方法和装置-202010045709.9
- 金桂贤;金镕重;金寅洙;金鹤京;南云铉;夫硕焄;成明哲;吕东勳;柳宇宙;张泰雄;郑景中;渚泓模;赵浩辰 - 斯特拉德视觉公司
- 2020-01-16 - 2023-10-13 - G06N3/0985
- 本发明提供为了减少运算时间而对自动标注并自动评价待利用于学习神经网络的训练图像的自动标注装置的超参数(hyperparameter)进行优化的方法。上述方法的特征在于，包括：步骤(a)，优化装置使上述自动标注装置生成具有固有自动标签的原始图像和具有固有真标签及自动标签的验证图像，从而将上述具有固有自动标签的原始图像分类为简单原始图像和复杂原始图像，将上述具有固有真标签及自动标签的验证图像分类为简单验证图像和复杂验证图像；步骤(b)，计算上述自动标注装置的当前可信度，生成样品超参数组，计算上述自动标注装置的样品可信度，对预设超参数组进行优化。通过强化学习的策略梯度算法(policy gradient algorithm)来执行上述方法。
- 一种基于深度强化学习的航空发动机旋转部件健康参数更新方法-202310673718.6
- 彭聪;于若颜;李蓓;施苏牧 - 南京航空航天大学
- 2023-06-08 - 2023-10-03 - G06N3/0985
- 本发明公开了一种基于深度强化学习的航空发动机旋转部件健康参数更新方法，首先定义健康参数并建立航空发动机旋转部件性能退化数据集，然后将参数更新问题建模为马尔可夫决策过程，最后，采用基于约束的李雅普诺夫的actor‑critic(CLAC)算法，通过与环境交互学习参数更新策略，使得发动机模型输出与传感器测量值合理近似。本发明解决了航空发动机数字模型缺乏时间尺度更新的问题，有效提高了发动机模型的精度，对于发动机健康管理、模型自适应修正等有积极的促进作用。
- 用于训练超网络的方法、装置、设备以及存储介质-202010478425.9
- 希滕;张刚;温圣召 - 北京百度网讯科技有限公司
- 2020-05-29 - 2023-09-26 - G06N3/0985
- 本申请公开了用于训练超网络的方法、装置、设备以及存储介质，涉及人工智能技术领域，更进一步涉及深度学习技术领域。具体实现方案为：根据预先建立的超网络的搜索空间，生成多个子网络；基于多个子网络，多次执行以下更新步骤：从多个子网络中选取至少一个子网络；基于所选取的子网络训练超网络，得到第一超网络和第二超网络；根据第一超网络和第二超网络，更新超网络的参数。本实现方式训练得到的超网络精度更高，从训练得到的超网络中采样出的子网络与独立训练相同结构的网络的性能一致。由此，在将本实现方式训练得到的超网络应用到图像处理领域时，基于超网络自动搜索模型结构可以快速地搜索出适配且性能优越的子网络。
- 聚焦于陌生样本的不平衡学习-202111606351.3
- 胡祝华;赵瑶池 - 海南大学
- 2021-12-26 - 2023-09-22 - G06N3/0985
- 聚焦于陌生样本的不平衡学习方法，可以用于基于深度神经网络的分类模型的不平衡学习和推理中。该方法将样本的网络logit输出值作为模型对于样本的熟悉程度的指标值，认为具有较低logit值的样本为模型的陌生样本。具体来说，在模型训练过程中，本发明中的损失函数为基于样本logit值的成本敏感损失函数：可分为实例级和类别级。本发明可以改善训练中类内样本的聚合特征，并减少注释错误对不平衡学习的负面影响。在模型的推理过程中，本发明采用一种偏移策略来实现模型的推理：先在验证集上基于logit的偏移性获得最佳分类器中的偏移参数，再根据该偏移参数在测试集上推理。采用该偏移策略可以纠正模型在推理过程中由于模型的偏移而引起的分类错误。
- 用于多类别瑕疵实时检测的轻量化模型构建方法及装置-202310902710.2
- 陈文君;张圆;刘姗姗;谢甜;唐玉辉;韦云声;虞沛文;胡美琴 - 浙江双元科技股份有限公司
- 2023-07-21 - 2023-09-22 - G06N3/0985
- 本发明公开了一种用于多类别瑕疵实时检测的轻量化模型构建方法及装置，方法包括如下步骤：获取含多类别瑕疵的目标物体图像，形成图像数据集；搭建初始的轻量化模型，并设置轻量化模型训练的超参数，其中，初始的轻量化模型包括轻量主干网络、颈部网络和头部检测网络，轻量主干网络用于提取融合位置信息的多尺度图像特征；根据图像数据集对初始的轻量化模型进行模型训练迭代，至收敛；构建得到用于多类别瑕疵实时检测的轻量化模型。本发明给出的轻量化模型提升了多类别缺陷产品的生产设备的工作效率和产品表面瑕疵的检测准确率。
- 一种针对联邦学习中参与方贡献评估的方法、系统、设备及介质-202310767210.2
- 郭晶晶;李佳星;马勇;刘志全;熊宇鹏 - 西安电子科技大学
- 2023-06-27 - 2023-09-19 - G06N3/0985
- 一种针对联邦学习中参与方贡献评估的方法、系统、设备及介质，其方法通过模型更新相似性的角度来评判参与方更新对全局模型收敛的贡献，采用参与方局部模型更新在全局模型收敛方向上的投影大小以及夹角关系来计算某参与方在某一训练轮次的贡献值；该贡献是对参与方上传模型的评估，包含了参与方的数据贡献以及模型训练贡献，得到各个参与方在本次联邦学习中的贡献百分比归一化结果，并形成结果向量评估结果为构建保障联邦学习公平性的激励机制提供依据；其系统、设备及介质根据基于投影的针对联邦学习中参与方贡献评估的方法，实现对参与方的贡献进行合理评估，且无需测试数据集，具有评估简单高效，精度高的优点。
- 一种关系预测模型训练方法、应用方法、装置及设备-202310777378.1
- 张喆 - 中国工商银行股份有限公司
- 2023-06-28 - 2023-09-15 - G06N3/0985
- 本说明书涉及数据处理技术领域，适用于金融领域，例如银行等应用场景，尤其涉及一种关系预测模型训练方法、应用方法、装置及设备。包括：构建多个样本三元组信息；创建多个负样本信息和与每个负样本信息对应的权重；利用卷积评分函数对多个样本三元组和负样本信息进行处理，得到对应的评分函数值；基于评分函数值和权重，对与和连接关系分别对应的待训练向量进行迭代优化，直至得到满足预设条件的目标向量；利用卷积评分函数对目标向量进行处理，得到阈值数据，以卷积评分函数、目标向量基于阈值数据构成训练后的关系预测模型。实现了通过控制循环卷积的维度从而控制模型复杂度，从而降低了对计算资源的要求，提高了计算效率。
- 热误差预测模型构建方法、机床热误差模型和机床热误差控制系统-202310274114.4
- 马驰;樊瑾瑞;李子涵;王天舒;刘佳兰;王时龙 - 重庆大学
- 2023-03-20 - 2023-09-05 - G06N3/0985
- 本发明公开了一种热误差预测模型构建方法，包括如下步骤：步骤一：将热误差数据转化为监督学习；步骤二：初始化晶体的位置；步骤三：将晶体位置编码为批量大小；步骤四：训练Bi‑MGU神经网络，结合自注意力机制分配权重，并计算损失函数值；步骤五：判断损失函数值是否小于设定阈值：若是，则执行步骤九；若否，则执行步骤六；步骤六：更新晶体位置，计算晶体的适应度值；步骤七：判断是否需要更新晶体位置：若是，则更新晶体位置；若否，则不更新晶体位置；步骤八：判断迭代次数是否等于最大迭代次数：若是，执行步骤九；若否，执行步骤三；步骤九：获得最佳超参数，构建得到热误差预测模型。本发明还公开了一种机床热误差模型和机床热误差控制系统。
- 一种模型无关元学习室内定位方法-202310487993.9
- 郭贤生;陈丽萍;司皓楠;赖哲学;段林甫;代茜怡;杨胤 - 四川混构定位科技有限公司
- 2023-05-04 - 2023-09-05 - G06N3/0985
- 本发明属于室内定位技术领域，具体是涉及一种模型无关元学习室内定位方法。本发明利用自动编码器提取RSS指纹的潜在特征，对原始RSS指纹降维去噪，得到稳健的RSS指纹。然后利用稳健的RSS指纹进行室内定位，通过元学习的双层优化方法，学习一组能够快速适应多任务的初始化元参数。在支持集上得到特定于任务的最优参数，再在查询集上进行定位，只需要少量的样本即可更新模型，实现对环境的快速适应。本发明可以有效克服复杂室内环境中由于环境变化数据分布不同导致的误差增大的问题，从而本发明提出的环境自适应的模型无关元学习室内定位方法是一种能够在复杂动态室内环境中实现小样本准确定位的方法。
- 一种带噪多标签数据的神经网络模型训练方法和装置-202310509397.6
- 葛仕明;李世鲲 - 中国科学院信息工程研究所
- 2023-05-08 - 2023-09-01 - G06N3/0985
- 本发明涉及一种带噪多标签数据的神经网络模型训练方法和装置。该方法的步骤包括：通过样本选择算法为每一类别选择出干净样本集合作为元数据集，并进行类别依赖的标签噪声转移矩阵估计；利用类别依赖的标签噪声转移矩阵对实例特征依赖的标签噪声转移矩阵网络中的部分参数进行初始化；基于统计一致性的标签噪声学习损失，将学习问题转化为双层优化问题，用元学习算法同时学习实例特征依赖的标签噪声转移矩阵网络参数、数据不平衡参数和多标签分类神经网络参数。本发明创新性地利用元学习算法以数据驱动的方式，将实例特征依赖的标签噪声转移矩阵网络参数、数据不平衡参数和多标签分类神经网络参数统一到一个框架下学习。
- 一种基于图神经网络的时空自适应端到端脑网络构建方法-202310648667.1
- 徐鹏;陈婉钧;易婵林;李存波;牟宇锋;李发礼;尧德中 - 电子科技大学
- 2023-06-02 - 2023-08-29 - G06N3/0985
- 本发明提出了一种端到端的基于图神经网络的时空自适应脑网络构建方法，包括预处理脑电信号；构建基于图神经网络的时空自适应神经网络端到端模型；加载训练后的模型参数；输入信号到构建的模型，估计有向脑网络矩阵；设置连接阈值得到显著有向连接。该模型基于序列分解与重组使得集成基于时间片段输入的长短期记忆的图神经网络模型具有时空自适应特点，训练后的模型能够作为一种广义的高效神经关系提取器，以数据驱动的方式直接获取不同脑电信号实例(不同通道数目，不同信号长度)特有的有向网络模式。从而避免传统解析方法面临的模型、假设约束等问题，同时扩展端到端方案应对不同应用场景(不同时长、不同传感器源数量下构建脑网络)的适用性，对于探寻大脑网络潜在的交互机制、提高相关研究可靠性、可重复性具有重要意义。
- 一种模型训练方法、装置、设备及介质-202310562897.6
- 赵蕾 - 新奥新智科技有限公司
- 2023-05-18 - 2023-08-25 - G06N3/0985
- 本申请实施例提供了一种模型训练方法、装置、设备及介质，用于解决相关技术meta‑learner参数爆炸，导致识别能力降低的问题。由于在本申请实施例中，在获取到第一损失值之后，将第一损失值输入LSTM网络模型中，获取对应的梯度值，基于该梯度值调整learner参数，从而提高训练的稳定性和效率，在调整了learner的参数之后，通过调整参数的learner辅助meta‑learner进行训练，并且由于LSTM网络模型的特点是可以记住一段时间内的值，因此可以避免保存每次迭代过程中每个神经元的值，从而可以解决参数爆炸的问题，进而提高meta‑learner的识别能力。
- 一种亿级参数寻优平台-202310371162.5
- 王子田 - 苏州互微智速科技有限公司
- 2023-04-10 - 2023-08-22 - G06N3/0985
- 本发明公开了一种亿级参数寻优平台，包括：参数空间组件、并行计算框架、群智优化算法单元、深度学习技术组件和模型评估和结果分析组件，所述参数空间组件、并行计算框架、群智优化算法单元、深度学习技术组件和模型评估和结果分析组件均与总控机构连接，利用深度学习技术对参数空间进行建模和预测，以进一步加速参数搜索过程、模型评估和结果分析组件。本发明能够快速高效地寻找最佳参数，该平台使用了一系列创新的技术和算法，与现有参数寻优方法相比，具有高效性、高精度和可扩展性。
- 训练模型参数的方法、决策确定方法、装置及电子设备-202210356733.3
- 王凡;田浩;熊昊一;吴华;何径舟;王海峰 - 北京百度网讯科技有限公司
- 2022-04-06 - 2023-08-18 - G06N3/0985
- 本公开提供的训练模型参数的方法、决策确定方法、装置及电子设备，涉及深度学习技术，包括：根据元参数生成扰动参数，并基于扰动参数获取一次训练环境的第一观测信息；根据第一观测信息确定扰动参数的评价参数；根据扰动参数以及扰动参数的评价参数，生成更新后的元参数；若根据元参数和更新后的元参数确定符合停止一次训练的条件，则将更新后的元参数确定为目标元参数；根据目标元参数确定与二次训练任务对应的目标记忆参数，目标记忆参数和目标元参数用于做出与预测任务对应的决策。本公开提供的方案，在一次训练和二次训练过程中，都不需要预先准备训练数据，而是通过多次迭代的方式学习到参数，无需人工干预，能够提高训练效率。
- 一种应用中心标准化线性层方法的神经网络系统-202310576873.6
- 黄雷;贾俊龙 - 北京航空航天大学
- 2023-05-22 - 2023-08-11 - G06N3/0985
- 本发明提出一种应用中心标准化线性层方法的神经网络系统，属于神经网络领域，具体涉及1)、在原始神经网络的线性层上，将每个输出神经单元所连接的权重参数的均值设为0，长度设为1，即施加零均值和单位长度约束；2)、通过对改进的中心标准化线性层的权重参数进行梯度更新，确保输出神经单元所连接的权重参数为零均值和单位方差；3)、基于每个神经单元构建可学习的尺度参数
- 用于自然语言处理的增强型logit-202180080034.4
- 徐莹;P·扎雷穆迪;T·T·乌;C·D·V·黄;V·布利诺夫;洪宇衡;Y·D·T·S·达摩西里;V·比什诺伊;E·L·贾拉勒丁;M·帕雷克;T·L·杜翁;M·E·约翰逊 - 甲骨文国际公司
- 2021-11-30 - 2023-08-04 - G06N3/0985
- 用于在自然语言处理中使用增强型logit值对输入到聊天机器人系统的话语和消息进行分类的技术。一种方法可以包括聊天机器人系统接收由与该聊天机器人系统交互的用户生成的话语以及将该话语输入到包括一系列网络层的机器学习模型中。该一系列网络层中的最终网络层可以包括logit函数。机器学习模型可以使用logit函数将可解析分类的第一概率映射到第一logit值。机器学习模型可以将不可解析分类的第二概率映射到增强型logit值。该方法还可以包括聊天机器人系统基于第一logit值和增强型logit值将该话语分类为可解析分类或不可解析分类。
- 一种基于多阶邻近相似度的网络表示学习的方法-201811175451.3
- 姚文斌;张丽娟;丁元浩;杨超;樊悦芹 - 北京邮电大学
- 2018-10-09 - 2023-08-04 - G06N3/0985
- 本发明提出一种基于多阶邻近相似度的网络表示学习的方法。相比于传统的基于结构分析的网络表示只考虑了一阶邻近相似度和二阶邻近相似度的关系，本发明重点为节点间的高阶邻近相似度建模，分别设计了不同类别的间接邻近相似度的计算方法，尤其是考虑到了信息在网络传播过程中会随着距离的增加而衰减，因此，本发明能对当前节点的不同邻居节点进行预测，更加准确的找到与目标节点的关联度最大的邻近节点，从而能够得到语义更加丰富，具有更高的可靠性和真实性的表示向量。
- 一种基于ISCSO和TOPSIS的PM2.5浓度预测方法-202310222043.3
- 鲜思东;李鑫;谢佳欣 - 重庆邮电大学
- 2023-03-09 - 2023-08-01 - G06N3/0985
- 本发明涉及一种基于ISCSO和TOPSIS的PM2.5浓度预测方法，属于空气质量监控技术领域。该方法步骤为：获取城市历史PM2.5浓度监测数据，构建特征数据集；处理特征数据集并划分为训练集、验证集和测试集；利用ISCSO分别搜索各单一模型的最优超参数；基于训练集、验证集、测试集以及最优超参数，分别构建并训练各单一预测模型并分别进行PM2.5浓度预测；将各单一预测模型的PM2.5浓度预测结果作为TOPSIS的输入，进行组合预测，得出最终的PM2.5浓度预测结果。本发明能够实现机器学习模型的超参数自动优化，并对各个模型进行组合预测，最终得出更准确的、稳定的PM2.5浓度预测结果。
- 一种基于递归元学习的航天器故障诊断方法-202310509948.9
- 魏才盛;郭鹏飞;殷泽阳;陈琪锋 - 中南大学
- 2023-05-08 - 2023-07-28 - G06N3/0985
- 本发明提供了一种基于递归元学习的航天器故障诊断方法，包括如下步骤：训练LSTM神经网络模型；划分递归元学习的数据集；训练快速适应的递归元学习模型；通过训练好的递归元学习模型预测航天器故障。本发明提供的基于递归元学习的航天器故障诊断方法，相比于传统LSTM神经网络，在适应新故障诊断任务开始时刻，均方误差明显降低，且能更快训练至收敛，提升了在轨航天器故障诊断模型泛化能力，同时提高了样本数据稀缺条件下故障诊断的准确率，信号预测均方误差相较传统LSTM神经网络下降明显，具有较强工程应用价值。
- 模型搜索方法、装置、芯片、电子设备及计算机存储介质-202310475451.X
- 冯乾泰;赵娟萍 - 哲库科技（上海）有限公司
- 2023-04-27 - 2023-07-21 - G06N3/0985
- 本申请实施例公开了一种模型搜索方法，包括：基于搜索策略对搜索空间进行搜索，得到候选模型，将候选模型的参数化表示输入至预先训练好的硬件指标预测器中，输出得到候选模型的硬件指标，当候选模型的硬件指标落入预设的硬件指标范围时，将候选模型确定为模型搜索结果，当候选模型的硬件指标未落入预设的硬件指标范围时，返回执行基于搜索策略对搜索空间进行搜索，得到候选模型。本申请实施例还同时提供了一种模型搜索装置、芯片、电子设备及计算机存储介质。
- 知识增强预训练语言模型的训练方法、应用方法及装置-202310299640.6
- 汪诚愚;张涛林;黄俊 - 阿里巴巴（中国）有限公司
- 2023-03-20 - 2023-07-18 - G06N3/0985
- 本发明公开了一种知识增强预训练语言模型的训练方法、应用方法及装置。所述方法包括：对领域知识图谱进行双曲空间学习，获得所述领域知识图谱的双曲实体嵌入表征；将所述双曲实体嵌入表征，与预先构造的正样本数据进行融合，得到融合后的正样本数据；将融合后的正样本数据注入所述预训练语言模型已有的文本训练数据中，得到知识增强的文本训练数据，以及知识增强的正样本数据；利用知识增强后的文本训练数据，以及所述知识增强的正样本数据，对预训练语言模型进行训练。本发明可有效地提高预训练语言模型执行对应领域文本任务的性能。
- 一种基于元学习的人工智能自动处理系统-202310373222.7
- 张卫平;丁烨;王丹;丁园;向荣 - 环球数科集团有限公司
- 2023-04-10 - 2023-06-16 - G06N3/0985
- 本发明提供了一种基于元学习的人工智能自动处理系统，包括主机终端、边缘处理终端、元学习终端和自动处理终端；边缘处理终端用于对来自用户的用户数据进行预处理，将用户数据处理为用户信息；主机终端用于与边缘处理终端连接，用于接收来自边缘处理终端的用户信息；元学习终端和自动处理终端均与主机终端连接；元学习终端用于根据预设周期内全部用户信息生成元学习调整信息；自动处理终端用于与主机终端进行通信，用于根据预设的自动处理指令对主机终端的用户信息进行处理；元学习调整信息用于更新自动处理指令。本发明具有提高自动处理系统工作效率的效果。
- 一种多任务神经网络架构的搜索方法及系统-202211466506.2
- 韩振华;李艳鹏;欧阳鹏;尹首一 - 北京清微智能科技有限公司
- 2022-11-22 - 2023-06-13 - G06N3/0985
- 本发明公开了一种多任务神经网络架构的搜索方法，包括，设置超参数。加载适用于各任务的数据集。初始化种群。获得可直接用于推理训练的模型计算图。对神经网络的性能进行间接评估，获取评估分数高的神经网络。使用真实数据集对神经网络训练，对训练过后的模型进行评估，计算种群中每个个体的适应度。根据个体的适应度更新种群。直至种群满足收敛条件，以得到神经网络模型。本发明可实现多任务下的神经网络架构搜索。在保证搜索出来的模型性能较高的情况下，加快神经网络架构的搜索速度。可保证最终搜索出来的神经网络结构在各个任务下都是性能最优的。同时，本发明提供了一种多任务神经网络架构的搜索系统。
- 一种面向元学习的元数据集构建方法-202211464939.4
- 吴偶;朱玉;苏风光 - 天津大学
- 2022-11-22 - 2023-06-13 - G06N3/0985
- 本发明公开一种面向元学习的元数据集构建方法。包括以下步骤：根据给定的包括若干样本的训练集，构建一个深度神经网络，并使用随机梯度下降作为优化策略进几轮训练后，记录每个样本的Softmax层前一层的梯度向量幅度的熵，并对训练集进行不确定性采样。对采样得到的数据集划分为K个不相交的子集。对每个子集分别利用最大化干净度和多样性组合度量的边际效益挑选样本。合并K个子集，同样利用最大化干净度和多样性组合度量的边际效益，并满足类别平衡约束，挑选样本，得到最终的元数据集。本发明可以应用在不同场景的元学习中，提升了元学习的普适性。
- 专利分类
