“王硕寰”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果94个，建议您升级VIP下载更多相关专利

[发明专利]奖励模型训练和奖励值生成方法、装置、设备和介质-CN202310797144.3在审
发明人：丁思宇;韩雅倩;王硕寰;孙宇;田浩;吴华;王海峰 -专利权人：北京百度网讯科技有限公司
申请日： 2023-06-30 - 公布日： 2023-10-24 - 主分类号： G06F16/332 文献下载
摘要：本公开提供了一种奖励模型训练和奖励值生成方法、装置、设备和存储介质，涉及人工智能技术领域，具体为自然语言处理、深度学习等技术领域。奖励模型训练方法包括：获取请求文本和所述请求文本对应的原始响应文本；基于所述原始响应文本的长度，对所述原始响应文本进行采样处理，以获得目标响应文本；其中，所述长度与所述采样处理成反向关系；基于所述请求文本和所述目标响应文本，训练奖励模型。本公开可以高效地纠正奖励模型的长度偏置问题。
奖励模型训练生成方法装置设备介质

[发明专利]预训练语言模型获取方法、装置、电子设备和存储介质-CN201911342666.4有效
发明人：庞超;王硕寰;孙宇;李芝 -专利权人：北京百度网讯科技有限公司
申请日： 2019-12-23 - 公布日： 2023-10-20 - 主分类号： G06F40/295 文献下载
摘要：本申请公开了预训练语言模型获取方法、装置、电子设备和存储介质，涉及自然语言处理技术领域。具体实现方案为：获取第一训练语句，并确定第一训练语句的实际实体链接关系，以及将第一训练语句输入到预训练语言模型中，通过预训练语言模型中的transformer结构，得到第一训练语句中每个字符的向量表示，根据每个字符的向量表示，预测得到第一训练语句中实体的预测实体链接关系，并根据实际实体链接关系和预测实体链接关系之间的差异，调整预训练语言模型的模型参数，由此，结合训练预料中的实体确定出实体链接关系，使得训练好的预训练语言模型更好的获取实体知识信息，避免引入知识图谱导致预训练语言模型出现知识偏移现象的发生。
训练语言模型获取方法装置电子设备存储介质

[发明专利]机器学习模型的对抗训练方法装置、电子设备和介质-CN202011488742.5有效
发明人：丁思宇;王硕寰;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2020-12-16 - 公布日： 2023-10-17 - 主分类号： G06N20/00 文献下载
摘要：本申请公开了一种机器学习模型的对抗训练方法、装置、电子设备和介质，涉及自然语言处理NLP、深度学习领域。实现方案为：对训练样本中的输入信息中的各输入字符分别进行特征提取，得到各输入字符的特征；将各输入字符的特征输入机器学习模型，以采用模型中的注意力层对多个输入字符进行注意力权重捕获；对注意力层捕获所得到的注意力权重进行扰动，以使模型根据扰动后的注意力权重输出预测字符；根据预测字符和训练样本中的标注字符之间的差异对模型进行训练。由此，通过对注意力层输出的注意力权重进行扰动，来干扰机器学习模型的训练，从而实现模型的对抗训练。
机器学习模型对抗训练方法装置电子设备介质

[发明专利]对话模型训练方法、回复信息生成方法、装置及介质-CN202310802054.9在审
发明人：赵晏彬;丁思宇;王硕寰;孙宇;田浩;吴华;王海峰 -专利权人：北京百度网讯科技有限公司
申请日： 2023-06-30 - 公布日： 2023-10-10 - 主分类号： G06F16/332 文献下载
摘要：本公开提供了一种对话模型训练方法、回复信息生成方法、装置及介质，涉及人工智能技术领域，尤其涉及自然语言处理、智能对话技术领域。实现方案为：获取第一样本数据集；将至少一个第一样本数据对应的至少一个第一问题文本分别输入对话模型，以获得至少一个第一回复预测结果；将每个第二问题文本输入对话模型，以获得对话模型输出的第二回复预测结果；以及将第二回复预测结果输入奖励模型中，以获得奖励模型输出的第二回复预测结果的得分；基于至少一个第一回复预测结果、至少一个第一样本数据中的每个的第一回复文本以及至少一个第二样本数据中的每个对应的得分，确定综合损失；以及基于综合损失，调整对话模型的至少一个参数。
对话模型训练方法回复信息生成装置介质

[发明专利]语言模型的训练方法、装置、介质及设备-CN202211280626.3有效
发明人：丁思宇;王硕寰;赵晏彬;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-10-19 - 公布日： 2023-10-03 - 主分类号： G06F18/214 文献下载
摘要：本公开提供了一种语言模型的训练方法、装置、介质及设备，涉及人工智能技术领域，尤其涉及自然语言处理领域。实现方案为：获取样本文本和相应的样本标签；基于样本文本，获取第一分词序列和第二分词序列；将第一分词序列的多个分词输入到第一子模型中，以获得第一预测结果；将第二分词序列的多个分词输入到第二子模型中，以获得第二预测结果；基于第一预测结果和第二预测结果，计算第一损失函数；基于第一预测结果、第二预测结果和该样本数据相应的样本标签，计算第二损失函数；以及基于第一损失函数和第二损失函数，调整初始语言模型的至少一个参数，以获得语言模型。
语言模型训练方法装置介质设备

[发明专利]大语言模型的训练方法、装置、设备和介质-CN202310814621.2在审
发明人：丁思宇;王硕寰;赵晏彬;孙宇;田浩;吴华;王海峰 -专利权人：北京百度网讯科技有限公司
申请日： 2023-07-04 - 公布日： 2023-09-29 - 主分类号： G06F18/214 文献下载
摘要：本公开提供了一种大语言模型的训练方法、装置、设备和介质，涉及人工智能技术领域，尤其涉及自然语言处理和深度学习等技术领域。该方法包括：获取大规模无监督文本数据；从大规模问答数据中提取多个问题答案对；基于多个问题答案对，构建弱监督指令数据，包括：针对多个问题答案对中的每一个问题答案对，将该问题答案对中的问题作为样本指令，并将该问题答案对中的答案作为与样本指令对应的真值回复数据，构建与该问题答案对对应的指令训练样本；以及基于与多个问题答案对各自对应的指令训练样本，构建弱监督指令数据；以及利用包括大规模无监督文本数据和弱监督指令数据的混合训练数据，对大语言模型进行预训练。
语言模型训练方法装置设备介质

[发明专利]训练文本扩充方法、装置、设备以及存储介质-CN202010498884.3有效
发明人：庞超;王硕寰;孙宇;李芝 -专利权人：北京百度网讯科技有限公司
申请日： 2020-06-04 - 公布日： 2023-09-29 - 主分类号： G06F18/214 文献下载
摘要：本申请实施例公开了训练文本扩充方法、装置、设备以及存储介质，涉及自然语言处理、深度学习、知识图谱技术领域。该方法的一具体实施方式包括：识别第一训练文本中存在的实体集合；从所存在的实体集合中选取第一实体；查找第一实体所属的概念下的实体集合；从概念下的实体集合中选取第二实体，其中，第一实体与第二实体不同；利用第二实体替换第一训练文本中的第一实体，得到第二训练文本。该实施方式通过实体替换策略，利用同一概念下的不同实体对训练文本进行实体替换，引入了结构化人工知识的强噪声，从而实现了利用外部知识对训练文本的信息补充，提升了任务所需信息的完整性。
训练文本扩充方法装置设备以及存储介质

[发明专利]交互方法和装置-CN201811645088.7有效
发明人： 王硕寰;孙宇;王丽杰 -专利权人：百度在线网络技术（北京）有限公司
申请日： 2018-12-29 - 公布日： 2023-09-19 - 主分类号： G06F16/35 文献下载
摘要：本申请实施例公开了交互方法和装置。该方法的一具体实施方式包括：基于查询语句的成分关键词，生成查询语句对应的查询逻辑语句；基于查询语句对应的查询逻辑语句，获取用于生成答案语句的信息；基于用于生成答案语句的信息，生答案语句，将答案语句反馈给用户。查询逻辑语句可以同时指示多个查询逻辑，查询逻辑语句与具体的领域无关，查询逻辑语句可以适用于用于查询多个不同的领域的查询语句对应的答案语句。每一步为了获取生成答案所需的信息进行的转换得到的表达式也可适用于用于查询多个不同的领域的查询语句对应的答案语句。从而，可对诸如包含多个查询逻辑的复杂的查询语句进行分析而生成答案语句，同时，减少了生成答案语句的开销。
交互方法装置

[发明专利]训练数据的挖掘方法、装置、电子设备及存储介质-CN202010576205.X有效
发明人： 王硕寰;庞超;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2020-06-22 - 公布日： 2023-08-22 - 主分类号： G06F16/2458 文献下载
摘要：本申请公开了一种训练数据的挖掘方法、装置、电子设备及存储介质，涉及基于人工智能的自然语言处理技术领域。具体实现方案为：采集数条作为原始数据的无监督文本，构成原始数据集；获取预配置的数据筛选规则集合，该数据筛选规则集合中包括数条预先配置的数据筛选规则；根据数据筛选规则集合中的各数据筛选规则，从原始数据集中挖掘数条训练数据，构成训练数据集。与现有技术的人工标注训练数据相比，本申请可以自动地、智能化地挖掘到训练数据，而不需要人工标注训练数据，能够有效地节省训练数据的获取成本，提高训练数据的获取效率。
训练数据挖掘方法装置电子设备存储介质

[发明专利]知识表示学习方法、装置、设备以及存储介质-CN202010524534.X有效
发明人：庞超;王硕寰;孙宇;李芝 -专利权人：北京百度网讯科技有限公司
申请日： 2020-06-10 - 公布日： 2023-08-15 - 主分类号： G06N5/022 文献下载
摘要：本申请实施例公开了知识表示学习方法、装置、设备以及存储介质，涉及自然语言处理、深度学习技术领域。该方法的一具体实施方式包括：获取行业训练文本；利用掩码语言模型对行业训练文本中的行业词进行掩码，得到掩码训练文本；将掩码训练文本输入至预训练语言模型，学习得到行业训练文本中的每个字的知识表示。该实施方式利用特定行业的训练文本训练预训练语言模型，提升了预训练语言模型应用到特定行业任务上的效果。此外，在训练过程中，利用掩码语言模型对行业训练文本中的行业词进行掩码，使得预训练语言模型能够结合完整的行业词学习其中每个字的知识表示，从而提升了预训练语言模型对行业词中的每个字的知识表示的学习效果。
知识表示学习方法装置设备以及存储介质

[发明专利]多语言模型的训练方法、装置、电子设备和可读存储介质-CN202011387501.1有效
发明人：欧阳轩;王硕寰;庞超;孙宇;田浩;吴华;王海峰 -专利权人：北京百度网讯科技有限公司
申请日： 2020-12-01 - 公布日： 2023-08-11 - 主分类号： G06F40/30 文献下载
摘要：本申请公开了一种多语言模型的训练方法、装置、电子设备和可读存储介质，涉及深度学习、自然语言处理技术领域。本申请在训练多语言模时的技术方案为：获取训练语料，训练语料中包含多条双语语料和多条单语语料；使用多条双语语料对多语言模型进行第一训练任务的训练；使用多条单语语料对多语言模型进行第二训练任务的训练；在确定第一训练任务与第二训练任务的损失函数收敛的情况下，完成多语言模型的训练。本申请能够使得多语言模型实现不同语言之间的语义交互，提升了多语言模型在学习多语言语料的语义表示时的准确性。
语言模型训练方法装置电子设备可读存储介质

[发明专利]特征确定模型的训练方法、语义分析方法、装置及电子设备-CN202110746978.2有效
发明人：尚骏远;王硕寰;丁思宇 -专利权人：北京百度网讯科技有限公司
申请日： 2021-06-30 - 公布日： 2023-07-21 - 主分类号： G06N3/08 文献下载
摘要：本公开提供了一种特征确定模型的训练方法，涉及深度学习和自然语言处理的技术领域。具体方案包括：由特征确定模型包括的多级特征确定层确定预训练文本包括的多个片段中的每个片段的特征向量；以及根据特征向量执行对特征确定模型的预训练，由多级特征确定层确定预训练文本包括的每个片段的特征向量包括：由当前级特征确定层，根据由当前级特征确定层针对在前片段确定的在前片段特征向量和由在前级特征确定层针对一个片段确定的在前级特征向量，确定针对一个片段的当前级特征向量。本公开还提供了一种针对目标任务对特征确定模型进行训练的方法、一种针对目标任务的语义分析方法、装置、电子设备、计算机存储介质以及计算机程序产品。
特征确定模型训练方法语义分析装置电子设备

[发明专利]跨语言跨模态模型的预训练方法、设备和存储介质-CN202211384569.3有效
发明人：单斌;韩雅倩;尹维冲;王硕寰;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-11-07 - 公布日： 2023-07-14 - 主分类号： G06F18/214 文献下载
摘要：本公开提供了跨语言跨模态模型的预训练方法、设备和存储介质，涉及深度学习、自然语言处理、计算机视觉等人工智能技术领域，可应用于智慧城市场景。具体实现方案为：在结合训练数据对跨语言跨模态模型进行预训练的过程中，根据图文配对数据和图文非配对数据，对跨语言跨模态模型进行预训练，并根据文本配对数据和文本非配对数据，对跨语言跨模态模型进行预训练，由此，提出了一种对跨语言跨模态模型进行预训练的新方式，从而可使得所预训练出的跨语言跨模态模型可以满足跨语言跨模态场景的需求。
语言跨模态模型训练方法设备存储介质

[发明专利]预训练模型中注意力矩阵的更新方法、装置及电子设备-CN202211665709.4在审
发明人：柴业坤;王硕寰;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-12-23 - 公布日： 2023-07-04 - 主分类号： G06F18/214 文献下载
摘要：本公开公开了一种预训练模型中注意力矩阵的更新方法、装置及电子设备，涉及计算机技术领域，具体涉及自然语言处理、深度学习等人工智能技术领域。包括：生成待掩码的第一注意力矩阵对应的第一掩码矩阵及第二掩码矩阵；将当前任务对应的样本数据分别输入第一掩码矩阵对应的第一模型及第二掩码矩阵对应的第二模型，以获取第一奖励值及第二奖励值；进而生成第三掩码矩阵；基于第三掩码矩阵，返回执行获取掩码后的模型的操作，直至获取第一注意力矩阵在样本数据下的目标掩码矩阵。由此，通过前向推断，可以较为快速的确定出目标掩码矩阵，涉及的数据量较少，从而节省了计算资源，同时也节省了确定目标掩码矩阵的时间，提高了效率。
训练模型注意力矩阵更新方法装置电子设备

[发明专利]任务处理方法、装置、电子设备和计算机可读存储介质-CN202211723178.X在审
发明人：尚骏远;王硕寰;丁思宇;赵晏彬;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-12-30 - 公布日： 2023-07-04 - 主分类号： G06F40/186 文献下载
摘要：本公开提供了一种任务处理方法、装置、电子设备和计算机可读存储介质，涉及人工智能技术领域，尤其涉及自然语言处理领域。具体实现方案为：获取目标任务的输入文本；基于预设的多个提示分别对输入文本进行模板化，得到多个待补全文本；基于预设模型对多个待补全文本进行处理，得到用于补全多个待补全文本的模型输出信息；基于模型输出信息，得到目标任务的处理结果。根据本公开的技术方案，可以提升NLP任务处理结果的准确性和鲁棒性。
任务处理方法装置电子设备计算机可读存储介质

1
2
3
4
5
6
7
下一页»
尾页
共 94 条