[发明专利]一种优化特征提取的遥感图像弱监督目标检测方法在审
| 申请号： | 202310910682.9 | 申请日： | 2023-07-24 |
| 公开（公告）号： | CN116957051A | 公开（公告）日： | 2023-10-27 |
| 发明（设计）人： | 马静;郝创博;张依漪;王磊 | 申请（专利权）人： | 北京京航计算通讯研究所;北京航空航天大学 |
| 主分类号： | G06N3/0895 | 分类号： | G06N3/0895;G06V20/13;G06V10/764;G06V10/774;G06N3/0464 |
| 代理公司： | 北京卓特专利代理事务所(普通合伙) 11572 | 代理人： | 田冰 |
| 地址： | 100074 北*** | 国省代码： | 北京;11 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 提供了一种优化特征提取的遥感图像弱监督目标检测方法，包括以下步骤：S1:获取遥感图像弱监督目标检测数据集，其中所有图像的标签为图像级标签；S2:用带有图像级标签的所述遥感图像弱监督目标检测数据集训练图像多分类的模型，用于提供弱监督目标检测模型的预训练权重参数；S3:构建遥感图像特征精炼模块，集成到弱监督目标检测模型中；S4:使用S2步骤得到的预训练权重参数初始化弱监督目标检测模型的主干网络的参数，并训练所述弱监督目标检测模型；S5:将待检测图像提供给训练好的弱监督目标检测模型，所述若训练好的弱监督目标检测模型输出对待检测图像的目标检测结果。 | ||
| 搜索关键词： | 一种 优化 特征 提取 遥感 图像 监督 目标 检测 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京京航计算通讯研究所;北京航空航天大学，未经北京京航计算通讯研究所;北京航空航天大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202310910682.9/，转载请声明来源钻瓜专利网。
- 上一篇：一种燃气热水系统的控制方法及燃气热水系统
- 下一篇：一种隔离层和电池
- 同类专利
- 一种优化特征提取的遥感图像弱监督目标检测方法-202310910682.9
- 马静;郝创博;张依漪;王磊 - 北京京航计算通讯研究所;北京航空航天大学
- 2023-07-24 - 2023-10-27 - G06N3/0895
- 提供了一种优化特征提取的遥感图像弱监督目标检测方法，包括以下步骤：S1:获取遥感图像弱监督目标检测数据集，其中所有图像的标签为图像级标签；S2:用带有图像级标签的所述遥感图像弱监督目标检测数据集训练图像多分类的模型，用于提供弱监督目标检测模型的预训练权重参数；S3:构建遥感图像特征精炼模块，集成到弱监督目标检测模型中；S4:使用S2步骤得到的预训练权重参数初始化弱监督目标检测模型的主干网络的参数，并训练所述弱监督目标检测模型；S5:将待检测图像提供给训练好的弱监督目标检测模型，所述若训练好的弱监督目标检测模型输出对待检测图像的目标检测结果。
- 视觉风格网络训练方法、视觉风格识别方法、装置及设备-202211184438.0
- 刘刚 - 腾讯科技（深圳）有限公司
- 2022-09-27 - 2023-10-27 - G06N3/0895
- 本申请提供一种视觉风格网络训练方法、视觉风格识别方法、装置及设备，应用于云技术、人工智能、地图领域、智慧交通、辅助驾驶、车载等各种场景，该视觉风格网络训练方法包括：获取至少两个样本数据对，以及每个样本数据对所包含的各个数据对应的对象互动数据；确定初始样本数据对；获取与初始样本数据对所包含的各个数据的进行互动的目标候选对象；根据目标候选对象的对象属性信息，确定目标样本数据对；根据目标样本数据对构建训练视觉风格网络的正样本数据、负样本数据和锚定目标样本数据。本申请实施例通过无监督与弱监督结合的方式，提升视觉风格网络的训练精度和效率，使用视觉风格网络能够对所有视觉风格进行标签识别，提升推荐范围。
- 基于多模态超声影像自监督学习的乳腺微小癌分析方法-202310364389.7
- 于腾飞;何文;张巍;陈涛 - 首都医科大学附属北京天坛医院
- 2023-04-07 - 2023-10-27 - G06N3/0895
- 本发明公开了一种基于多模态超声影像自监督学习的乳腺微小癌分析方法，包括以下步骤：步骤一，对乳腺微小癌多模态超声影像进行数据采集，构成数据库，并确立金标准；步骤二，通过1cm以上乳腺肿块临床图像建立自监督深度学习模型；步骤三，通过自监督深度学习模型对处理后的乳腺微小癌图像数据集进行训练，得到微小癌识别模型；步骤四，以微小癌识别为基础进行三维模型重建；步骤五，通过重建的三维模型分析微血管与癌症的关系。本发明采用上述基于多模态超声影像自监督学习的乳腺微小癌分析方法，提高预后良好的早期乳腺癌检出率，为减少过度活检数量的精准诊疗提供新的理论依据和方法。
- 一种语言模型训练方法及装置-202310904628.3
- 朱权;马建毅;吕磊 - 成都云栈科技有限公司
- 2023-07-24 - 2023-10-20 - G06N3/0895
- 本申请公开了一种语言模型训练方法及装置。所述语言模型训练方法包括：获取主干模型；获取辅助语言模型；将辅助语言模型的最后一层与主干模型的最后一层进行融合从而获取融合模型；对融合模型进行预训练，从而获取训练后的融合模型；对训练后的融合模型进行拆分，从而获取经过训练的最终知识传承模型。本申请采用了基于编码器和解码器的语言模型作为主干网络，其风格相对严谨，同时采用了仅包含解码器（不含编码器）的语言模型作为辅助训练，其风格相对松散。并且，推理时，本发明将该层移除仅保留主干网络，这样辅助网络起到帮助训练的效果，最终使得模型在总体严谨的情况下适度学习发散能力。
- 一种基于双通道的多行为注意力自监督学习方法-202310823335.2
- 王楠;曲明月;钟颖莉 - 黑龙江大学
- 2023-07-06 - 2023-10-17 - G06N3/0895
- 本发明提出一种基于双通道的多行为注意力自监督学习方法。所述方法能够区分不同用户行为感知偏好的能力。利用用户与项目交互的不同行为。捕获用户的多种行为的依赖，发明的三种自监督学习方式，不仅增强了双通道的表征结果，也使模型在通道内和通道间的自监督学习中能够获得更多的辅助监督信号，有效缓解了监督信号稀疏的问题。
- 一种数据处理方法及相关设备-202310629128.3
- 薛喜地;黄国位;谢念 - 华为技术有限公司
- 2023-05-30 - 2023-10-13 - G06N3/0895
- 一种数据处理方法，涉及人工智能领域，方法包括：获取第一提示prompt信息；第一prompt包括第一任务的信息；根据第一任务的信息，通过预训练模型，得到第一控制信息；根据目标物体基于第一控制信息执行第一任务得到的第一执行结果，更新预训练模型，得到更新后的预训练模型；获取第二prompt信息；第二prompt包括第二任务的信息；第二任务的执行复杂度高于第一任务；根据第二任务的信息和目标物体的信息，通过更新后的预训练模型，得到第二控制信息；根据目标物体基于第二控制信息执行第二任务得到的第二执行结果，更新更新后的预训练模型。本申请可以从简单的子技能开始学习，逐步演化学习从简单到复杂的任务技能，可以使得模型学习到较复杂的技能。
- 跨域自适应学习-202280010008.9
- D·达斯;F·M·波利克里;S·尹 - 高通股份有限公司
- 2022-01-20 - 2023-10-10 - G06N3/0895
- 提供了用于跨域自适应学习的技术。根据在源数据集上训练的源域特征提取模型来调谐目标域特征提取模型，其中该调谐是使用在目标数据集上训练的掩码生成模型来执行的，并且该调谐是使用目标数据集来执行的。
- 一种自监督训练模型及其训练方法以及ReID模型训练方法-202310799456.8
- 袁哲;王仲勋;兰天翼;肖万勇 - 四川云从天府人工智能科技有限公司
- 2023-06-30 - 2023-10-03 - G06N3/0895
- 本发明涉及行人重识别技术领域，具体提供一种自监督训练模型及其训练方法以及ReID模型训练方法。本发明的一种自监督训练模型的训练方法，包括：将训练图像集中的第一图像输入至编码器中，得到第一高维特征向量，并将第一高维特征向量输入至第一mlp模型中，得到第一低维特征向量；将训练图像集中的第二图像输入至动量编码器中，得到第二高维特征向量，并将第二高维特征向量输入至第二mlp模型中，得到第二低维特征向量；根据第一低维特征向量、第二低维特征向量以及特征缓存库中的预存的低维特征向量，对自监督训练模型进行训练。采用上述方案，完成了对自监督训练模型的训练，避免了现有技术中因人工错误标注而导致模型训练效果差的问题。
- 基于图像空间位置的图像表征模型训练方法及装置-202310779761.0
- 孙海亮;暴宇健 - 深圳须弥云图空间科技有限公司
- 2023-06-29 - 2023-10-03 - G06N3/0895
- 本公开涉及机器学习技术领域，提供了一种基于图像空间位置的图像表征模型训练方法及装置。该方法包括：通过非线性编码网络确定每个小图像的低维向量表征，根据前K个小图像的低维向量表征，通过自回归网络确定前K个小图像的前后空间潜向量；将第K个小图像的前后空间潜向量分别经过N‑K个全连接神经网络，得到第K+1个小图像至第N个小图像的预测向量表征；根据第K+1个小图像至第N个小图像的低维向量表征和预测向量表征，计算自监督损失；根据前K个小图像以及前K个小图像的正样本和负样本的低维向量表征，计算对比学习损失；根据自监督损失和对比学习损失更新图像表征模型的模型参数，以完成对图像表征模型的训练。
- 一种基于结构重参数化的对比学习训练方法及系统-202310395146.X
- 张睿 - 重庆特斯联启智科技有限公司
- 2023-04-13 - 2023-09-29 - G06N3/0895
- 本发明实施例公开一种基于结构重参数化的对比学习训练方法及系统，基于结构重参数化技术原理，将结构简单、训练非友好的简易模型等价扩展出一种训练友好的复杂模型，在对比学习过程中，两种模型共同完成训练。其中，复杂模型完成向前计算操作和反向传播训练，简易模型仅完成向前计算操作，简易模型的参数更新由复杂模型参数组等价转换而得。由于两个模型是等价的，因此，本发明采用的方式与传统的对比学习是等价的。在保证复杂模型训练友好情况下，通过简易模型发挥出GPU的硬件优势，提高整体的训练速度。另外，由于简易模型结构简单，因此参数量比复杂模型少，可有效节省存储资源。
- 用于髋部X射线图像中骨矿物质密度估计的半监督学习的方法、设备和存储介质-202280011723.4
- 郑康;苗舜;王一睿;周晓云;吕乐 - 平安科技（深圳）有限公司
- 2022-03-23 - 2023-09-29 - G06N3/0895
- 一种用于估计骨矿物质密度(BMD)的方法，包括：获得图像；在所述图像中剪裁一个或多个感兴趣区域(ROI)；将所述一个或多个ROI作为用于估计BMD的网络模型的输入；根据具有一个或多个损失函数的标记的一个或多个ROI训练所述网络模型，以在监督的预训练阶段中获得预训练模型，以及根据表示所述标记的一个或多个ROI的第一多个数据和表示未标记的区域的第二多个数据微调所述预训练模型，以确定用于在半监督自训练阶段中估计BMD的微调网络模型。一个或多个损失函数包括特定的自适应三重态损失(ATL)，其被配置为激励与BMD之间的差异相关的一个或多个特征嵌入矢量之间的距离。
- 通过原型网络和弱监督学习对基础设施模型中的要素进行分类并预测属性-202180092330.6
- L-P·阿赛林;M-A·拉庞特;K-A·佳佳;E·劳施-拉罗奇 - 本特利系统有限公司
- 2021-11-30 - 2023-09-26 - G06N3/0895
- 在示例性实施例中，软件服务可以采用神经网络来学习将要素特征变换成嵌入的非线性映射。神经网络可被训练成在多维嵌入空间中分配嵌入，使得嵌入之间的距离对于类别或种类分类或属性预测、手头的任务是有意义的。可以使用弱监督机器学习、使用弱标记的基础设施模型来训练神经网络。可用多组的嵌入来确定原型。基础设施模型的要素可以被分类成类别或种类，或者根据具体情况通过找到最接近的原型来预测它们的属性。
- 基于自监督学习的Transformer模型训练方法-202310475772.X
- 张睿 - 光控特斯联（重庆）信息技术有限公司
- 2023-04-27 - 2023-09-26 - G06N3/0895
- 本公开的实施例提供了一种基于自监督学习的Transformer模型训练方法。应用于深度学习领域，所述方法包括将训练数据集输入一个包含教师模型和学生模型的预设的Transformer模型，每个模型的输出有两部分，一个对应目标类任务，一个对应非目标类任务，将两部分输入到一个带有超参数的解耦Kullback‑Leibler散度公式，获取损失值，利用梯度反向传播，更新学生模型的自身参数并不断调整超参数，同时基于学生模型的自身参数更新教师模型的自身参数，直到学生模型达到收敛。以此方式，本公开将传统的知识蒸馏思想解耦成目标知识蒸馏和非目标知识蒸馏，使目标知识蒸馏和非目标知识蒸馏两部分各自的权重更易调整，最终提高了教师模型和学生模型间的知识转移有效性。
- 设备故障诊断方法、装置、存储介质及电子设备-202310586692.1
- 何潇;韩鹏宇;刘泽夷 - 清华大学
- 2023-05-23 - 2023-09-19 - G06N3/0895
- 本发明提供了一种设备故障诊断方法、装置、存储介质及电子设备，涉及故障智能诊断技术领域，所述方法包括：获取当前时刻的设备运行数据作为当前样本集；基于所述当前样本集，对预先训练的故障诊断模型进行在线训练，获得更新后的故障诊断模型；其中，所述故障诊断模型为神经网络模型；针对所述当前样本集中的每一个样本，将该样本输入至所述更新后的故障诊断模型，以使所述更新后的故障诊断模型输出与该样本对应的故障诊断结果。本发明提供的技术方案，能够更加准确地对设备进行实时故障诊断。
- 一种模型训练方法、装置、设备及介质-202310703722.2
- 史超;李同治 - 新奥新智科技有限公司
- 2023-06-14 - 2023-09-15 - G06N3/0895
- 本申请实施例提供了一种模型训练方法、装置、设备及介质，用于解决相关技术模型学习效率及识别能力不佳的问题。由于在本申请实施例中，电子设备先确定包含识别目标的每个待训练图像中识别目标所处的区域，从而进行前景及背景的区分，并针对识别目标所处的区域的子图像为不包含识别目标的其他待训练图像对目标识别模型进行训练，从而可以提高目标识别模型对于正负样本的区分能力，进而提高目标识别模型的学习效率及识别能力。
- 一种特征学习方法、装置、设备及介质-202310705500.4
- 史超;李同治 - 新奥新智科技有限公司
- 2023-06-14 - 2023-09-15 - G06N3/0895
- 本申请实施例提供了一种特征学习方法、装置、设备及介质，用于解决现有技术中特征学习效率低的问题。由于在本申请实施例中，在进行特征学习时，通过对待训练图像中目标所处区域进行掩膜，并基于恢复模型输出掩膜后的待训练图像的恢复图像及待训练图像对恢复模型进行处理，从而可以使得恢复模型学习被掩膜的目标所处区域的特征，进而可以准确学习目标所处区域的特征，提高特征的学习效率。
- 为机器学习产生训练数据-202310201425.8
- J·波尔格斯 - 罗伯特·博世有限公司
- 2023-03-03 - 2023-09-05 - G06N3/0895
- 用于为机器学习产生训练数据的计算机实现的方法(200)和机器学习方法，特别是自监督学习方法，其中所述学习方法为了训练神经网络(NN)而使用根据方法(200)产生的训练数据。
- 基于三维图像识别的模型训练方法、存储介质和设备-202010033108.6
- 魏东;郑冶枫 - 腾讯科技（深圳）有限公司
- 2020-01-13 - 2023-09-01 - G06N3/0895
- 本申请涉及一种基于三维图像识别的模型训练方法、装置、计算机可读存储介质和计算机设备，所述方法包括：获取三维原始图像、以及带有标注信息的三维样本图像；对所述三维原始图像中至少一张的原始切片进行干扰处理，得到对应的三维噪声图像；将所述三维噪声图像作为样本输入，并将所述三维原始图像作为训练标签来对目标网络进行预训练，得到预训练好的目标网络；根据预训练好的目标网络中至少一部分的网络结构和相应的网络参数，构建待训练的任务模型；通过所述三维样本图像和相应的标注信息对所述任务模型进行再训练，得到最终训练好的任务模型。本申请提供的方案可以提高模型训练效率。
- 基于句向量的对比学习训练方法、装置、设备和介质-202310692073.0
- 刘羲;蒋恒智;舒畅;陈又新 - 平安科技（深圳）有限公司
- 2023-06-12 - 2023-08-29 - G06N3/0895
- 本发明属于文本识别技术领域，可应用于医疗领域中，特别是涉及一种基于句向量的对比学习训练方法、装置、设备和介质，其中，方法包括：获取训练样本；将训练样本输入待训练对比学习模型中；根据第一预设规则对训练文本进行文本构造及向量特征提取，得到第一句向量；根据第二预设规则对训练文本进行文本转换及向量特征提取，得到第二句向量；基于第一句向量和第二句向量对待训练对比学习模型进行训练，直至待训练对比学习模型的参数收敛，得到对比学习模型。本发明根据差异的句向量对对比学习模型进行训练，以获取具备对简单掩膜文本和替换、删除字符/词的复杂文本进行高效、准确识别性能的对比学习模型，实现对文本识别技术的优化。
- 一种无标记样本增强的半监督图神经网络方法-202310140620.4
- 王波;国英龙;徐振宇;王伟;贾智洋;杨铭锴;刘彦北;李志胜 - 思腾合力（天津）科技有限公司
- 2023-02-21 - 2023-08-29 - G06N3/0895
- 本发明公开了一种无标记样本增强的半监督图神经网络方法，包括以下步骤：收集原始图结构数据，并预处理‑生成对应的增强视图‑最大化原始视图和增强视图的节点表示和图表示之间的互信息‑对正样本视图的节点表示进行特征融合，得到信息更加全面的节点表示，用于节点分类任务‑通过最小化目标函数，对模型进行训练优化，用于充分挖掘无标记样本的自监督信息，提高节点分类性能。本发明采用上述无标记样本增强的半监督图神经网络方法，可充分利用无标记样本，挖掘自监督信息，为模型提供额外的监督信号，提高节点分类性能，可广泛地应用于化学分子性质预测、生物蛋白质功能预测、社交网络分析等技术领域。
- 针对大规模预训练语言模型的提示学习方法和交互系统-202310320539.4
- 汪诚愚;黄俊 - 阿里巴巴（中国）有限公司
- 2023-03-27 - 2023-08-22 - G06N3/0895
- 本公开涉及一种针对规模预训练语言模型的提示学习方法和利用该操作方法的交互系统。所述方法包括：构造上下文示例并送入经预训练的所述PLM用于提示学习；以及使用学习过所述上下文示例的所述PLM执行针对目标示例的测试，其中，使用将实体知识注入所述PLM的预训练任务对所述PLM的参数进行微调，以获取预训练的所述PLM。本公开在业内首次提出了面向大规模预训练语言模型的知识预训练算法，为构建应用于各个领域的大规模知识模型奠定基础。具体地，该方法提出了可以单独或结合使用的新颖的基于事实知识注入的预训练任务，并且发现对目标示例的明智选择和利用知识库中知识先验的校准能够进一步提升模型表现。
- 一种面向小样本文本分析的统一提示调优方法-202310607594.1
- 练智超;王书娟;王盼盼 - 南京理工大学
- 2023-05-26 - 2023-08-15 - G06N3/0895
- 本发明公开一种面向小样本文本分析的统一提示调优方法，属于自然语言处理领域。包括通过一种新的统一范式POV，对训练样本进行数据增强；利用知识增强的选择性KSMLM进行自监督任务学习；最终对特定的下游任务，在小目标训练集上进行微调，来完成预训练语言模型面向小样本的各类文本分类任务。本发明提出了基于提示的统一调优框架，利用新的范式POV以及自监督的KSMLM，显式地从无目标数据集中捕获提示语义，既提高了预训练语言模型在小样本文本分析任务中的性能，又增强了泛化能力。
- 多模态视频分类模型的预训练方法、视频分类方法及装置-202210114622.1
- 杨善明;刘泽宇;苑鹏程;顾晓光 - 腾讯科技（深圳）有限公司
- 2022-01-30 - 2023-08-11 - G06N3/0895
- 本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景，尤其涉及一种多模态视频分类模型的预训练方法、视频分类方法及装置，该方法为：先对文本特征提取网络进行多轮自监督训练的，得到训练后的初始视频特征提取网络，再对文本特征提取网络进行多轮自监督训练，得到训练后的初始文本特征提取网络，进而采用预训练样本数据集合，对包括初始视频特征提取网络和初始文本特征提取网络的初始多模态视频分类模型进行多轮有监督迭代训练，得到预训练后的多模态视频分类模型。这样，使得完成的预训练过程可以具体划分为两个训练阶段，能够学习基于视频特征信息和文本特征信息，实现对视频的高效分类。
- 时序数据预训练模型微调方法及装置、时序数据预测模型-202310582798.4
- 刘浩;甘津瑞;吴鹏;周飞;姚一杨;王剑;邵进 - 国网智能电网研究院有限公司;国网浙江省电力有限公司信息通信分公司;国家电网有限公司
- 2023-05-22 - 2023-08-11 - G06N3/0895
- 本发明公开了一种时序数据预训练模型微调方法及装置、时序数据预测模型，包括：获取预训练模型和输入时序数据，预训练模型包括编码器和解码器，编码器用于提取输入时序数据的输入时序特征；采用线性层对输入时序特征进行线性计算，生成对应的动态提示特征；结合掩码特征、动态提示特征和输入时序特征确定增强后的时序特征；将增强后的时序特征输入至解码器解码，基于待预测的未来时刻，进行未来时刻的时序数据的预测。通过实施本发明，针对每个输入时序特征，考虑了其隐含的上下文知识生成了动态提示特征，作为实例级别的提示信息，用于下游任务的模型参数微调，有效避免了时序预训练模型微调过程中的过拟合问题，提升了下游时序任务的预测精度。
- 一种神经网络的训练方法以及相关装置-202210079992.6
- 刘刚 - 腾讯科技（深圳）有限公司
- 2022-01-24 - 2023-08-11 - G06N3/0895
- 本申请公开了一种基于人工智能技术的神经网络的训练方法以及相关装置。获取预训练数据，预训练数据包括多张图片以及多张图片的标签信息，根据预训练数据对预训练模型进行自监督训练，得到图片神经网络。由于该图片的标签信息为该图片来源天然具有的属性信息，具有容易获取的特点。因此，可以容易获取大量的预训练数据。基于该预训练数据，对预训练模型进行训练得到图片神经网络，可以有效提升图片神经网络的训练效率和训练精度。该预训练模型采用自监督训练，可以有效提升训练效率和训练精度。
- 基于对比学习的CTR预测模型训练方法、装置及电子设备-202310834678.9
- 董辉;王芳 - 深圳须弥云图空间科技有限公司
- 2023-07-10 - 2023-08-08 - G06N3/0895
- 本申请提供一种基于对比学习的CTR预测模型训练方法、装置及电子设备。该方法包括：将用于CTR预测模型训练的离散特征映射到低维度的稠密向量中，得到原始特征向量；对原始特征向量进行正则化约束，得到特征对齐损失和特征一致性损失；对原始特征向量进行数据增强，得到第一特征向量和第二特征向量，对第一特征向量和第二特征向量进行特征交叉得到中间向量，计算中间向量之间的距离，得到对比学习损失；依据特征对齐损失、特征一致性损失、对比学习损失以及原始CTR预测任务的损失函数生成综合损失函数，利用综合损失函数反向更新模型参数，以便对CTR预测模型进行训练。本申请提高了CTR预测模型训练的泛化性能，从而提升CTR预测模型的预测性能及预测精度。
- 一种对比自监督学习训练方法和系统-202310361537.X
- 张睿 - 重庆特斯联启智科技有限公司
- 2023-04-06 - 2023-08-04 - G06N3/0895
- 本申请实施例公开了一种对比自监督学习训练方法和系统，所述方法包括：样本数据集分别与第一数据增强算子和数据增强算子计算得到数据增强样本数据集；将所述数据增强样本数据集分别输入第一模型和第二模型，得到正样本特征集和负样本特征集；根据所述负样本特征集所对应的原图像和正样本特征集得到正负样本组合特征集；根据所述正负样本组合特征集计算损失函数；基于所述损失函数计算梯度并更新第一模型的参数，基于更新后的第一模型的参数更新第二模型的参数，循环直到损失函数满足设定条件。设计出的损失函数和数据增强算子集适用于多种对比式自监督学习方法，具有更好的泛化性和鲁棒性。
- 一种自适应域外数据集的分类模型训练方法和装置-202310296574.7
- 张睿 - 光控特斯联（重庆）信息技术有限公司
- 2023-03-23 - 2023-07-21 - G06N3/0895
- 本公开的实施例提供了一种自适应域外数据集的分类模型训练方法和装置，所述方法包括：根据目标域数据集和预训练数据集，利用自监督学习算法对网络模型进行预训练生成预训练模型；基于所述预训练模型的模型参数对包含不变特征学习器的训练模型进行初始化；根据所述预训练数据集对应的源域数据集，利用有监督学习算法对初始化后的所述训练模型进行次训练生成次训练模型；根据目标域数据集和源域数据集，利用半监督学习算法训练所述次训练模型，生成域外数据集分类模型。以此方式，可以提高域外数据集的分类模型的分类精度。
- 动作生成模型的训练方法、动作生成方法及装置-202310434638.5
- 白烨;王鹏睿;车浩;王晓瑞 - 北京达佳互联信息技术有限公司
- 2023-04-21 - 2023-07-18 - G06N3/0895
- 本公开提供一种动作生成模型的训练方法、动作生成方法及装置，涉及计算机技术领域。该方法包括：获取第一音频样本、第一动作图像样本、第二音频样本和第二动作图像样本；利用第一音频样本训练音频编码器和音频量化器，得到训练完成的音频编码器和音频量化器；利用第一动作图像样本训练动作量化器和动作解码器，得到训练完成的动作量化器和动作解码器；利用第二音频样本和第二动作图像样本训练音频动作转换器，得到训练完成的音频动作转换器；依次连接训练完成的音频编码器、音频量化器、音频动作转换器、动作量化器和动作解码器，生成动作生成模型。该方法解决了相关技术中模型训练不充分以及泛化性能差的问题，提升模型的泛化性能。
- 一种弱监督视觉语言预训练模型的训练方法和装置-202310445450.0
- 刘洋;陈驰;李鹏;孙茂松 - 清华大学
- 2023-04-24 - 2023-07-04 - G06N3/0895
- 本发明提供一种弱监督视觉语言预训练模型的训练方法和装置，包括：选定若干个对齐的图文对，并将每一个图文对作为一个图文锚点对；基于图片数据集/文本数据集中每一个图片/文本与每一个图片锚点/文本锚点的相似度，确定图片数据集/文本数据集中每一个图片/文本的相对表征；根据图片数据集中每一个图片的相对表征和文本数据集中每一个文本的相对表征，构建伪平行图文数据集；利用伪平行图文数据集训练视觉语言预训练模型。本发明使用相对表征来作为图片和文本的统一表示，在相对表征的基础上构建高质量的伪平行数据，并利用伪平行数据训练的弱监督视觉语言预训练模型，以使模型具有更强跨模态理解能力。
- 专利分类
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
