“赵晏彬”申请（专利权）人搜索_中国专利权人_发明人_技术持有人_科研专家_钻瓜专利网

钻瓜专利网为您找到相关结果21个，建议您升级VIP下载更多相关专利

[发明专利]对话模型训练方法、回复信息生成方法、装置及介质-CN202310802054.9在审
发明人： 赵晏彬;丁思宇;王硕寰;孙宇;田浩;吴华;王海峰 -专利权人：北京百度网讯科技有限公司
申请日： 2023-06-30 - 公布日： 2023-10-10 - 主分类号： G06F16/332 文献下载
摘要：本公开提供了一种对话模型训练方法、回复信息生成方法、装置及介质，涉及人工智能技术领域，尤其涉及自然语言处理、智能对话技术领域。实现方案为：获取第一样本数据集；将至少一个第一样本数据对应的至少一个第一问题文本分别输入对话模型，以获得至少一个第一回复预测结果；将每个第二问题文本输入对话模型，以获得对话模型输出的第二回复预测结果；以及将第二回复预测结果输入奖励模型中，以获得奖励模型输出的第二回复预测结果的得分；基于至少一个第一回复预测结果、至少一个第一样本数据中的每个的第一回复文本以及至少一个第二样本数据中的每个对应的得分，确定综合损失；以及基于综合损失，调整对话模型的至少一个参数。
对话模型训练方法回复信息生成装置介质

[发明专利]语言模型的训练方法、装置、介质及设备-CN202211280626.3有效
发明人：丁思宇;王硕寰;赵晏彬;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-10-19 - 公布日： 2023-10-03 - 主分类号： G06F18/214 文献下载
摘要：本公开提供了一种语言模型的训练方法、装置、介质及设备，涉及人工智能技术领域，尤其涉及自然语言处理领域。实现方案为：获取样本文本和相应的样本标签；基于样本文本，获取第一分词序列和第二分词序列；将第一分词序列的多个分词输入到第一子模型中，以获得第一预测结果；将第二分词序列的多个分词输入到第二子模型中，以获得第二预测结果；基于第一预测结果和第二预测结果，计算第一损失函数；基于第一预测结果、第二预测结果和该样本数据相应的样本标签，计算第二损失函数；以及基于第一损失函数和第二损失函数，调整初始语言模型的至少一个参数，以获得语言模型。
语言模型训练方法装置介质设备

[发明专利]大语言模型的训练方法、装置、设备和介质-CN202310814621.2在审
发明人：丁思宇;王硕寰;赵晏彬;孙宇;田浩;吴华;王海峰 -专利权人：北京百度网讯科技有限公司
申请日： 2023-07-04 - 公布日： 2023-09-29 - 主分类号： G06F18/214 文献下载
摘要：本公开提供了一种大语言模型的训练方法、装置、设备和介质，涉及人工智能技术领域，尤其涉及自然语言处理和深度学习等技术领域。该方法包括：获取大规模无监督文本数据；从大规模问答数据中提取多个问题答案对；基于多个问题答案对，构建弱监督指令数据，包括：针对多个问题答案对中的每一个问题答案对，将该问题答案对中的问题作为样本指令，并将该问题答案对中的答案作为与样本指令对应的真值回复数据，构建与该问题答案对对应的指令训练样本；以及基于与多个问题答案对各自对应的指令训练样本，构建弱监督指令数据；以及利用包括大规模无监督文本数据和弱监督指令数据的混合训练数据，对大语言模型进行预训练。
语言模型训练方法装置设备介质

[发明专利]自然语言生成方法和装置-CN202010297512.4有效
发明人：俞凯;赵晏彬 -专利权人：思必驰科技股份有限公司
申请日： 2020-04-15 - 公布日： 2023-08-01 - 主分类号： G06F40/205 文献下载
摘要：本发明公开一种自然语言生成方法和装置，其中，方法包括：接收AMR图以及与所述AMR图对应的线图，将所述AMR图和所述线图作为编码器的输入；在所述编码器中，使用图神经网络对所述AMR图和所述线图分别进行编码，其中，在使用所述图神经网络编码的过程中融入所述AMR图的高阶邻接信息，所述高阶邻接信息的阶数大于1；编码完成后，使用解码器解析出与所述AMR图对应的自然语言中的每一个词。本申请实施例的方案由于在编码时，非直接相邻节点之间的关系在编码时也会被考虑其中，使得模型可以更好地发掘AMR图中的信息。
自然语言生成方法装置

[发明专利]任务处理方法、装置、电子设备和计算机可读存储介质-CN202211723178.X在审
发明人：尚骏远;王硕寰;丁思宇;赵晏彬;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-12-30 - 公布日： 2023-07-04 - 主分类号： G06F40/186 文献下载
摘要：本公开提供了一种任务处理方法、装置、电子设备和计算机可读存储介质，涉及人工智能技术领域，尤其涉及自然语言处理领域。具体实现方案为：获取目标任务的输入文本；基于预设的多个提示分别对输入文本进行模板化，得到多个待补全文本；基于预设模型对多个待补全文本进行处理，得到用于补全多个待补全文本的模型输出信息；基于模型输出信息，得到目标任务的处理结果。根据本公开的技术方案，可以提升NLP任务处理结果的准确性和鲁棒性。
任务处理方法装置电子设备计算机可读存储介质

[发明专利]BERT模型的优化方法及系统-CN202010895250.1有效
发明人：俞凯;金乐盛;陈露;赵晏彬;陈志;朱苏 -专利权人：思必驰科技股份有限公司
申请日： 2020-08-31 - 公布日： 2023-06-23 - 主分类号： G06F40/30 文献下载
摘要：本发明实施例提供一种BERT模型的优化方法。该方法包括：通过BERT模型确定由待推理的句子对拆分的子词序列中每个子词的第一上下文嵌入；通过语义表示语言解析器，确定句子对的语义表示图，提取句子对的语义特征；将句子对的语义特征确定为第一上下文嵌入的辅助信息，确定带有语义特征的第二上下文嵌入；基于带有语义特征的第二上下文嵌入，预测句子对中的两个句子的包含关系。本发明实施例还提供一种BERT模型的优化系统。本发明实施例在自然语言推理的语言模型中，为上下文嵌入辅助高层次的语义信息以及语法信息，使训练后的语言模型对语义信息更加敏感，大大提高了自然语言推理任务的性能。
bert 模型优化方法系统

[发明专利]文本处理方法、深度学习模型训练方法、装置以及设备-CN202211705167.9在审
发明人：丁思宇;王硕寰;赵晏彬;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-12-28 - 公布日： 2023-05-23 - 主分类号： G06F40/20 文献下载
摘要：本公开提供了一种文本处理方法、深度学习模型训练方法、装置、设备、存储介质以及程序产品，涉及数据处理技术领域，尤其涉及人工智能、深度学习、自然语言处理等领域。具体实现方案为：获取输入文本；获取目标深度学习模型；通过目标深度学习模型处理输入文本，得到目标文本信息。
文本处理方法深度学习模型训练装置以及设备

[发明专利]预训练语言模型的训练方法、装置、设备和介质-CN202211722595.2在审
发明人：丁思宇;赵晏彬;王硕寰;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-12-30 - 公布日： 2023-04-18 - 主分类号： G06F18/214 文献下载
摘要：本公开提供了一种预训练语言模型的训练方法、装置、设备和介质，涉及人工智能领域，具体涉及自然语言处理、深度学习技术。该方法包括：获取面向第一语言的第一预训练语言模型；以及利用第一语言的训练任务和不同于第一语言的第二语言的训练任务共同对第一预训练语言模型进行训练，以得到面向第二语言的第二预训练语言模型。
训练语言模型方法装置设备介质

[发明专利]文本生成模型的训练方法、文本获取方法及装置-CN202211417275.6在审
发明人：丁思宇;赵晏彬;王硕寰;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-11-11 - 公布日： 2023-04-04 - 主分类号： G06V30/164 文献下载
摘要：本公开提出了一种文本生成模型的训练方法、文本获取方法及装置，涉及自然语言处理和深度学习等人工智能领域，方法包括基于原始文本对初始文本生成模型进行训练，得到候选文本生成模型；对原始文本进行扰动，以获取原始文本的噪声文本；获取原始文本和噪声文本的字符映射关系；根据原始文本、噪声文本和字符映射关系，对候选文本生成模型进行训练，以得到训练好的目标文本生成模型。本公开中，提高了目标文本生成模型输出的文本内容与人们惯用的阅读习惯之间的适配度，优化了人们的阅读体验，提高了目标文本生成模型在重复文本内容生成场景下的鲁棒性，优化了文本生成模型的实用性和适用性。
文本生成模型训练方法获取装置

[发明专利]预训练模型的微调方法及其装置-CN202211502211.6在审
发明人：尚骏远;赵晏彬;丁思宇;王硕寰;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-11-28 - 公布日： 2023-04-04 - 主分类号： G06N3/04 文献下载
摘要：本公开提供了预训练模型的微调方法及装置，涉及深度学习领域，尤其涉及模型处理技术领域。该方法包括：确定预训练模型，预训练模型包括N层Transformer层和N层全连接层，每层Transformer层分别连接至一层全连接层，每层全连接层对应的参数基于Transformer层的参数确定；基于预训练数据库确定目标下游任务对应的提示词；将提示词和目标下游任务对应的输入文本输入至预训练模型得到输出结果，基于输出结果计算损失值，基于损失值更新N层全连接层对应的参数。本公开可有效继承预训练阶段多任务知识，提升小样本任务的收敛速度与效果，提升模型的建模能力，可建模难度更大的生成任务，提升模型训练的稳定性，解决了大模型无法收敛的问题，且部署开发难度和部署成本均较低。
训练模型微调方法及其装置

[发明专利]用于处理文本的神经网络的训练方法和处理文本的方法-CN202211414756.1在审
发明人：丁思宇;赵晏彬;王硕寰;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-11-11 - 公布日： 2023-02-24 - 主分类号： G06F40/186 文献下载
摘要：本公开提供了用于处理文本的神经网络的训练方法、处理文本的方法、装置和设备，涉及人工智能领域，具体为深度学习、机器学习、自然语言处理技术领域。用于处理文本的神经网络的训练方法包括：基于多个改写模板对至少一个第一样本文本句进行改写，以得到多个第一改写文本句，其中，多个改写模板被配置为使用不同的自然语言表达描述对待改写的第一样本文本句的句向量表示的抽取，以得到对应的第一改写文本句；利用神经网络对多个第一改写文本句中的每一个第一改写文本句进行处理，以得到与该第一改写文本句对应的第一样本文本句的句向量表示；以及基于至少一个第一样本文本句各自的句向量表示，调整神经网络的参数，以得到预训练的神经网络。
用于处理文本神经网络训练方法

[发明专利]用于自然语言处理领域中预训练模型的训练方法及其装置-CN202211300765.8在审
发明人：丁思宇;王硕寰;赵晏彬;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-10-21 - 公布日： 2023-02-03 - 主分类号： G06F40/30 文献下载
摘要：本公开提供了一种用于自然语言处理领域中预训练模型的训练方法及其装置，涉及人工智能领域，具体涉及自然语言处理、深度学习技术，可应用在自然语言处理(如文本分类、文本识别等)下游任务场景下。具体实现方案为：获取样本文本和样本文本的负例样本文本；将样本文本按照字词混合粒度进行切分处理，获得第一切分文本和第二切分文本；其中，第一切分文本的字词混合粒度区别于第二切分文本的字词混合粒度；基于负例样本文本、第一切分文本和第二切分文本，生成对比学习任务的正例对和负例对；基于对比学习任务的正例对和负例对，对预训练模型进行对比学习训练。本公开不仅可以带来更丰富的语义信息，还可以降低建模时的文本长度，减小模型训练时间和成本。
用于自然语言处理域中训练模型方法及其装置

[发明专利]语言模型处理方法、业务处理方法、装置、设备及介质-CN202211329891.6在审
发明人：丁思宇;赵晏彬;王硕寰;孙宇 -专利权人：北京百度网讯科技有限公司
申请日： 2022-10-25 - 公布日： 2023-01-20 - 主分类号： G06F40/20 文献下载
摘要：本公开提供了语言模型处理方法、业务处理方法、装置、设备及介质，涉及人工智能技术领域，尤其涉及深度学习、自然语言处理等技术领域，可应用于智慧城市场景。具体实现方案为：确定分布阈值；在分布阈值的约束下，确定正态分布；通过正态分布，对语言模型中的输入层进行初始化。从而，通过对输入层的参数值进行约束的方式，从源头降低语言模型的参数值，有效降低语言模型发生“增量爆炸”的概率，而且没有增加过多的额外参数和其它成本。
语言模型处理方法业务装置设备介质

[发明专利]模型训练方法、装置、系统、设备、介质及程序产品-CN202210358922.4有效
发明人：王硕寰;巩伟宝;吴志华;孙宇;丁思宇;韩雅倩;赵晏彬;刘雨昂;于佃海 -专利权人：北京百度网讯科技有限公司
申请日： 2022-04-06 - 公布日： 2022-12-20 - 主分类号： G06N3/08 文献下载
摘要：本申请公开了一种模型训练方法、装置、系统、设备、介质及程序产品，涉及计算机技术领域，尤其涉及人工智能，自然语言处理、深度学习技术领域。在申请的一些实施例中，至少一个第一集群对样本数据集进行训练得到训练数据；第二集群，根据训练数据对训练模型进行训练；将生成训练数据的模型和预训练模型分别部署在不同的集群上，对模型进行跨集群训练，第一集群和第二集群之间只需要传输训练数据，而无需传输模型参数，集群间较低宽带通信即能满足本申请的跨集群训练，基于不同阶段的训练任务，将生成训练数据任务和预训练模型训练任务分别放置于不同的处理器中，提升硬件处理速度，提高模型的训练效率。
模型训练方法装置系统设备介质程序产品

[发明专利]语言模型的预训练方法、装置、设备、存储介质-CN202210552543.9在审
发明人：尚骏远;王硕寰;丁思宇;赵晏彬;庞超;孙宇;田浩;吴华;王海峰 -专利权人：北京百度网讯科技有限公司
申请日： 2022-05-20 - 公布日： 2022-08-30 - 主分类号： G06F40/289 文献下载
摘要：本公开公开了一种语言模型的预训练方法、语言模型的预训练装置、电子设备和可读存储介质，涉及人工智能领域，特别涉及深度学习领域。该方法包括：构建预训练语言数据集，其中，所述预训练语言数据集包括无监督语言数据和有监督语言数据；根据所述预训练语言数据集生成层次化的多模板多任务语言数据集；根据所述层次化的多模板多任务语言数据集对语言模型进行预训练。本公开实施例可以构建了一个多模板多任务语言数据集，将任务统一模板化，使得模型可以同时建模多任务数据。本公开实施例还可以提升模型多任务学习的鲁棒性，通过学习无监督数据中通用的知识，可以避免知识遗忘。
语言模型训练方法装置设备存储介质

1
2
下一页»
尾页
共 21 条