“汪诚愚”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果24个，建议您升级VIP下载更多相关专利

[发明专利]跨语言机器阅读理解任务的操作方法和自然语言处理系统-CN202310620516.5在审
发明人：曹庭锋;汪诚愚;朱金辉 -专利权人：阿里云计算有限公司
申请日： 2023-05-29 - 公布日： 2023-10-17 - 主分类号： G06F40/30 文献下载
摘要：本公开涉及一种跨语言机器阅读理解任务的操作方法和自然语言处理系统。所述方法包括：获取与源语言训练数据相对应的目标语言训练数据；构建用于训练的并行语言对；将并行语言对送入基于预训练语言模型构造的双列模型并使用反向传播算法进行训练，其中，所述双列模型包括源列和目标列，并且通过从目标列给出的上下文信息中找出与源列输出的源语言输出答案语义相似的答案片段，以校准目标列输出的答案片段。本发明利用注意力机制，将源语言的答案片段巧妙地转移到目标语言的答案输出空间；并且通过梯度解耦知识共享技术改进了交叉注意力块。此外，通过让模型从多个颗粒度学习语义对齐并在教师的指导下校准模型输出提高跨语言的可迁移性。
语言机器阅读理解任务操作方法自然语言处理系统

[发明专利]一种文图生成方法、装置、计算机设备及存储介质-CN202310628445.3在审
发明人：刘冰雁;汪诚愚;黄俊 -专利权人：阿里云计算有限公司
申请日： 2023-05-30 - 公布日： 2023-10-10 - 主分类号： G06T11/00 文献下载
摘要：本申请实施例提供一种文图生成方法、装置、计算机设备及存储介质，其中方法包括：获取输入的文本；对所述文本进行编码，获取文本表征信息；所述文本表征信息包括文本描述的多个实体的嵌入表示信息，一个实体的嵌入表示信息包括实体在文本的文本嵌入表示信息，以及实体在知识图谱的知识图谱嵌入表示信息；根据所述文本表征信息，生成符合文本描述的图像。本申请实施例可以提高文图生成的准确性，提高文图生成性能。
一种生成方法装置计算机设备存储介质

[发明专利]基于扩散模型的文图生成任务推理加速方法和系统-CN202310598298.X在审
发明人： 汪诚愚;段忠杰;黄俊 -专利权人：阿里云计算有限公司
申请日： 2023-05-24 - 公布日： 2023-10-10 - 主分类号： G06T11/00 文献下载
摘要：本公开涉及一种基于扩散模型的文图生成任务推理加速方法和系统。该方法包括：运行完整生成过程以采集中间变量；从完整过程中选择n个步骤，并且在这n个步骤的迭代计算中：将在前隐变量与所述输出中间变量的线性组合作为当前步骤获取的隐变量的估计值；通过最小化所述估计值与对应隐中间变量的均分误差求取所述线性组合中的系数；以及基于求取的系数，生成作为所述文图生成任务的推理结果的图像。本发明通过分析完整生成过程，将调度器的设计问题转化成若干参数的确定，并进一步将加速的生成过程转化成线性子空间的张成过程，由此通过重构短步数的近似过程，将成百上千步的迭代减少到几十步，甚至几步，在显著提升效率的同时，保证生成效果。
基于扩散模型生成任务推理加速方法系统

[发明专利]基于域对抗迁移学习的新品销售预测方法和系统-CN202310471786.4在审
发明人： 汪诚愚;褚真真;黄俊 -专利权人：阿里云计算有限公司
申请日： 2023-04-26 - 公布日： 2023-09-22 - 主分类号： G06Q30/0202 文献下载
摘要：本公开涉及一种基于域对抗迁移学习的新品销售预测方法和系统。将各自对应于一个源域的多个旧品信息送入特征提取器以提取多个旧品特征；将多个旧品特征送入域不变特征学习器以提取域不变产品特征，并构造域不变产品损失函数；将域不变产品特征送入销售预测器，以输出对于多个旧品特征各自的预测销售值，并构造预测损失函数；通过最小化损失函数训练新品销售预测模型；以及将对应于目标域的新品信息送入由经训练的模型以获取新品销售预测值。通过为多个旧品各自分配为一个域，并提取域不变特征来实现域对抗迁移学习，由此通过提取新品的域不变特征来预测新品销售。还可以结合门店不变特征实现基于门店的销售预测。
基于对抗迁移学习新品销售预测方法系统

[发明专利]文本视频检索任务的计算方法、视频推荐和检索系统-CN202310237907.9在审
发明人： 汪诚愚;段忠杰 -专利权人：阿里巴巴（中国）有限公司
申请日： 2023-03-07 - 公布日： 2023-09-15 - 主分类号： G06F16/78 文献下载
摘要：公开了一种文本视频检索任务的计算方法、视频推荐系统和视频检索系统。该方法包括：将文本和视频各自输入来自预训练语言图像模型的文本和视频编码器以获取标记嵌入向量序列和帧嵌入向量序列；求取标记‑帧嵌入向量相似度；构造标记‑帧对齐图，其中由标记嵌入向量作为第一层节点并由帧嵌入向量作为第二层节点；并基于最小成本最大流算法，求取标记‑帧对齐图的优化流以获取文本‑视频相似度，其中，第一层节点指向第二层节点的边的成本与标记‑帧嵌入向量相似度负相关。本发明通过将标记‑图像帧对齐问题转换为最小成本最大流问题实现细粒度文本‑视频相似度的快速准确求取，并且通过对特定边的成本设置来减轻困扰视频检索任务已久的中心性问题。
文本视频检索任务计算方法推荐检索系统

[发明专利]针对大规模预训练语言模型的提示学习方法和交互系统-CN202310320539.4在审
发明人： 汪诚愚;黄俊 -专利权人：阿里巴巴（中国）有限公司
申请日： 2023-03-27 - 公布日： 2023-08-22 - 主分类号： G06N3/0895 文献下载
摘要：本公开涉及一种针对规模预训练语言模型的提示学习方法和利用该操作方法的交互系统。所述方法包括：构造上下文示例并送入经预训练的所述PLM用于提示学习；以及使用学习过所述上下文示例的所述PLM执行针对目标示例的测试，其中，使用将实体知识注入所述PLM的预训练任务对所述PLM的参数进行微调，以获取预训练的所述PLM。本公开在业内首次提出了面向大规模预训练语言模型的知识预训练算法，为构建应用于各个领域的大规模知识模型奠定基础。具体地，该方法提出了可以单独或结合使用的新颖的基于事实知识注入的预训练任务，并且发现对目标示例的明智选择和利用知识库中知识先验的校准能够进一步提升模型表现。
针对大规模训练语言模型提示学习方法交互系统

[发明专利]图像文本模型处理方法及图像文本检索系统-CN202310299806.4在审
发明人： 汪诚愚;汪嘉鹏 -专利权人：阿里巴巴（中国）有限公司
申请日： 2023-03-20 - 公布日： 2023-08-01 - 主分类号： G06F16/332 文献下载
摘要：本公开涉及一种图像文本模型处理方法及图像文本检索系统。基于经过预训练的第一(教师)编码模型，对第二(学生)编码模型进行知识交互训练。知识交互训练可以包括下述至少一项：学生跨模态(图像‑文本)编码模型知识交互训练；师生跨模态(图像‑文本)编码模型知识交互训练；学生同模态(图像‑图像、文本‑文本)编码模型知识交互训练。本公开通过引入文本模态和图像模态的各种教师‑学生组合和学生‑学生组合，基于各种组合进行多样化的知识交互过程探索，使得学生网络(第二模型)能够学习到更全面、更泛化、更鲁棒和更有效的知识，从而使得即使轻量化的模型也能够实现改善的图像文本检索效果。
图像文本模型处理方法检索系统

[发明专利]图像矢量量化编码、文图模型训练及使用方法和装置-CN202310299709.5在审
发明人： 汪诚愚;李磊 -专利权人：阿里巴巴（中国）有限公司
申请日： 2023-03-20 - 公布日： 2023-07-25 - 主分类号： H04N19/94 文献下载
摘要：本发明公开了一种图像矢量量化编码、文图模型训练及使用方法和装置。所述方法包括：将图像输入编码器进行编码，得到图像包含的各图像块对应的中间特征向量；针对图像中各图像块对应的中间特征向量，在第一码书中查找与中间特征向量最接近的图像表征的索引；第一码书包含多行图像表征及对应的索引，且在第一码书中相近似的图像表征其对应的索引所在位置也邻近；将查找到的索引替换所述图像中各图像块的中间特征向量，得到所述图像中各图像块对应的矢量量化的编码。本发明可大大节省计算量，提高矢量量化编码的速度和效率，提升模型的训练效率，降低了对计算资源的消耗。
图像矢量量化编码模型训练使用方法装置

[发明专利]文本摘要抽取方法和系统-CN202310237922.3在审
发明人： 汪诚愚;唐莫鸣 -专利权人：阿里巴巴（中国）有限公司
申请日： 2023-03-07 - 公布日： 2023-07-18 - 主分类号： G06F16/34 文献下载
摘要：本公开涉及一种文本摘要抽取方法和系统。该方法包括：从包含L个句子的给定文档中选取M个句子，以构造N个候选摘要；将每个候选摘要与给定文档级联并送入PLM，获取N个输出向量；将N个输出向量送入文本释义排序模型，获取N个释义概率；从N个释义概率中选择最高概率对应的候选摘要作为给定文档的抽取文本摘要。本发明通过将摘要抽取任务转化为候选摘要与源文本之间的文本释义问题，缩小摘要抽取任务和PLM的训练差距，能够更好地挖掘PLM的知识用以提升模型性能。进一步地，利用知识迁移从现有文本释义丰富训练数据集中学习相关知识，辅助模型识别更能释义文档核心语义的候选摘要，弥补小规模数据集导致的训练监督信号缺失问题。
文本摘要抽取方法系统

[发明专利]知识增强预训练语言模型知识注入和训练方法及系统-CN202310277777.1在审
发明人： 汪诚愚;严俊冰;黄俊 -专利权人：阿里巴巴（中国）有限公司
申请日： 2023-03-20 - 公布日： 2023-07-18 - 主分类号： G06F16/36 文献下载
摘要：本发明公开了一种知识增强预训练语言模型知识注入和训练方法及系统。该方法包括：基于领域知识图谱，识别预训练语句中的重要元素，将重要元素注入预训练语言模型的训练数据中，得到知识增强的训练数据，将知识增强的训练数据输入预训练语言模型中，针对每一层前馈网络，根据输入的训练数据和知识评估目标，确定对知识评估目标生成正确答案的概率，根据概率确定每个神经元的知识归因分数；将每一层中知识归因分数符合预设条件的神经元作为知识神经元，生成包括知识神经元的知识路径；基于预设的损失函数更新知识路径的参数。通过对注入的知识有侧重的学习来减少知识噪声，鲁棒性强，且能够识别知识路径减少更新的系统参数，降低资源消耗。
知识增强训练语言模型注入方法系统

[发明专利]知识增强预训练语言模型的训练方法、应用方法及装置-CN202310299640.6在审
发明人： 汪诚愚;张涛林;黄俊 -专利权人：阿里巴巴（中国）有限公司
申请日： 2023-03-20 - 公布日： 2023-07-18 - 主分类号： G06N3/0985 文献下载
摘要：本发明公开了一种知识增强预训练语言模型的训练方法、应用方法及装置。所述方法包括：对领域知识图谱进行双曲空间学习，获得所述领域知识图谱的双曲实体嵌入表征；将所述双曲实体嵌入表征，与预先构造的正样本数据进行融合，得到融合后的正样本数据；将融合后的正样本数据注入所述预训练语言模型已有的文本训练数据中，得到知识增强的文本训练数据，以及知识增强的正样本数据；利用知识增强后的文本训练数据，以及所述知识增强的正样本数据，对预训练语言模型进行训练。本发明可有效地提高预训练语言模型执行对应领域文本任务的性能。
知识增强训练语言模型方法应用装置

[发明专利]学生模型训练方法和文本分类系统-CN202310240085.X在审
发明人： 汪诚愚;陈小庆 -专利权人：阿里巴巴（中国）有限公司
申请日： 2023-03-07 - 公布日： 2023-07-14 - 主分类号： G06N3/08 文献下载
摘要：本公开涉及一种学生模型训练方法和文本分类系统。该方法包括：向样本添加提示信息和掩码文本占位符以得到经处理的训练样本；使用经处理的训练样本微调预训练语言模型PLM，得到经提示微调的教师模型；使用有标签的域外训练数据微调PLM，得到经域外数据微调的教师模型；以及使用经处理的训练样本训练学生模型，并且在训练过程中所述学生模型同时学习如上两个教师模型输出的分类概率向量。本发明通过在知识蒸馏时引入域外教师模型，提升了学生模型的蒸馏精度。进一步地，可以根据域内模型的专家评分对域外教师模型的影响程度加以控制。还可以通过额外的伪分类概率向量来进一步缓解小样本场景下由于标签缺乏导致的过拟合。
学生模型训练方法文本分类系统

[发明专利]视觉语言理解任务处理方法和系统-CN202310240088.3在审
发明人： 汪诚愚;唐莫鸣 -专利权人：阿里巴巴（中国）有限公司
申请日： 2023-03-07 - 公布日： 2023-07-14 - 主分类号： G06F18/214 文献下载
摘要：本公开涉及一种视觉语言理解任务处理方法和系统。所述方法基于视觉语言预训练模型操作，并且包括：构造包括多个图像‑文本对的任务训练数据；将训练数据送入预训练模型以获取位于多个图像和文本嵌入向量；将同一图像文本对的嵌入向量融合为一个融合特征；基于多个融合特征构造知识库原型矩阵；以及使用原型矩阵进行相似度匹配以获取推理结果。本发明将各种视觉语言理解任务重新表述为一个开卷的相似性匹配问题，采用知识库原型矩阵通过融合特征记录每个类别的显着特征，再使用图像‑文本对与每个类别的原型进行相似性匹配。在下游任务的微调阶段，可通过对比学习利用真实标签的隐式排序信息，从低资源训练集中提供更多监督线索。
视觉语言理解任务处理方法系统

[发明专利]语言模型的训练方法、电子设备、存储介质及产品-CN202310357504.8在审
发明人： 汪诚愚;黄俊 -专利权人：阿里巴巴（中国）有限公司
申请日： 2023-03-31 - 公布日： 2023-07-07 - 主分类号： G06F16/35 文献下载
摘要：本申请提供了一种语言模型的训练方法、电子设备、存储介质及产品，属于人工智能技术领域。方法包括：基于第一训练样本语料，对预训练语言模型进行预设范式训练，得到教师语言模型；调用教师语言模型，对第二训练样本语料进行识别，得到第二训练样本语料的类别概率分布；基于第二训练样本语料的类别概率分布，计算第二训练样本语料的伪标签的确定性数值；基于第二训练样本语料的伪标签的确定性数值，从第二训练样本语料中，获取确定性数值满足阈值条件的易分训练样本语料；基于易分训练样本语料，对教师语言模型进行预设范式训练，得到完成目标训练任务的学生语言模型。本申请能够基于少量标注标签的训练样本语料训练出模型精度较高的语言模型。
语言模型训练方法电子设备存储介质产品

[发明专利]图像文本模型处理方法及图像文本检索系统-CN202310221293.5在审
发明人： 汪诚愚;王小丹;黄俊 -专利权人：阿里巴巴（中国）有限公司
申请日： 2023-03-09 - 公布日： 2023-05-05 - 主分类号： G06F16/33 文献下载
摘要：本公开涉及一种图像文本模型处理方法及图像文本检索系统。输入多个图像文本样本对。从预设的概念图谱中获取用于训练的多个概念图像样本和/或多个概念文本样本。基于文本样本和多个概念图像样本训练图像文本模型，以使得文本样本与其对应的概念图像样本的相似度得分增大，而与其它文本样本对应的概念图像样本的相似度得分降低。基于图像样本和多个概念文本样本训练图像文本模型，以使得图像样本与其对应的概念文本样本的相似度得分增大而与其它图像样本对应的概念文本样本的相似度得分降低。由此，通过在图像文本模型的训练中引入概念知识图谱，能够实现更好的图像与文本之间的对齐，进一步改善图文检索的效果。
图像文本模型处理方法检索系统

1
2
下一页»
尾页
共 24 条