“语言训练”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果388125个，建议您升级VIP下载更多相关专利

[发明专利]基于决策的预训练语言模型蒸馏方法及系统-CN202310448734.5在审
发明人：刘洋;李鹏;周沁泓;杨宗瀚 -专利权人：清华大学
申请日： 2023-04-24 - 公布日： 2023-08-29 - 主分类号： G06F40/289 文献下载
摘要：本发明提供一种基于决策的预训练语言模型蒸馏方法及系统，包括：获取预训练语言模型的训练数据集，对所述训练数据集进行增广，计算基于经验估计决策分布；根据预训练语言模型的决策蒸馏训练获取理论估计决策分布；将所述经验估计决策分布与理论估计决策分布联立求解
基于决策训练语言模型蒸馏方法系统

[发明专利]自然语言理解训练数据生成方法、装置、设备及存储介质-CN201811600740.3在审
发明人：张贺;齐乔松 -专利权人：出门问问信息科技有限公司
申请日： 2018-12-26 - 公布日： 2019-05-28 - 主分类号： G06F17/27 文献下载
摘要：本公开提供了一种自然语言理解训练数据生成方法，包括：确定用于自然语言理解的训练数据的待生成数据模板；确定基于待生成数据模板而生成的训练数据的数量；以及根据待生成数据模板及知识库，填充待生成数据模板以生成所述数量的训练数据本公开还提供了一种自然语言理解训练数据生成装置、电子设备及可读存储介质。
训练数据自然语言理解生成数据知识库可读存储介质存储介质电子设备生成装置填充

[发明专利]用于自然语言分类的训练数据扩展-CN201980033219.2在审
发明人： M·库迪勒;A·佩罗尼 -专利权人：国际商业机器公司
申请日： 2019-04-30 - 公布日： 2020-12-25 - 主分类号： G06F16/35 文献下载
摘要：提供了一种用于训练与计算机系统的聊天界面相关联的自然语言分类器的计算机实现的方法。该方法可以包括接收训练数据集，该训练数据集包括与意图相对应的初始表达集合。可以基于与意图对应的初始表达集合和附加表达来训练自然语言分类器。训练的自然语言分类器可以被实现为基于训练自然语言分类器的初始表达集合和附加表达来确定由检测到的查询表达的意图。
用于自然语言分类训练数据扩展

[发明专利]大规模预训练语言模型的构建方法、装置、存储介质及电子装置-CN202310268876.3在审
发明人：肖熊锋;杜向阳 -专利权人：北京擎盾信息科技有限公司
申请日： 2023-03-15 - 公布日： 2023-07-14 - 主分类号： G06N3/04 文献下载
摘要：本申请公开了一种大规模预训练语言模型的构建方法、装置、存储介质及电子装置。该构建方法包括：接收裁判文书；按不同法律领域对所述裁判文书进行分类；对分类结果执行预设的预处理并标注操作，得到多个类别的裁判文书训练集；针对不同法律领域维护一个独立的Prefix并基于所述裁判文书训练集对语言模型进行预训练，得到针对特定法律领域的预训练语言模型。本申请解决了由于未考虑不同法律领域的文本之间的差异性造成的预训练语言模型无法有效识别不同领域的关键信息的技术问题。
大规模训练语言模型构建方法装置存储介质电子

[发明专利]一种文本处理方法、系统及存储介质和终端设备-CN202110902041.X在审
发明人：梁云龙;孟凡东;徐金安;陈钰枫 -专利权人：腾讯科技（深圳）有限公司
申请日： 2021-08-06 - 公布日： 2022-04-12 - 主分类号： G06F16/33 文献下载
摘要：在预训练跨语言摘要模型的过程中确定的初始训练模型中包括了三个支路的编码后处理模块，分别对应三个不同的任务，即确定翻译信息、单语言摘要信息和跨语言摘要信息，而这三个任务共享了同一特征编码模块和同一特征提取模块，由于确定跨语言摘要信息这个任务可以是确定翻译信息和单语言摘要信息这两个子任务的整合，在训练跨语言摘要模型的过程中利用了实现这三个任务的信息，同时考虑到了确定跨语言摘要信息这个整体任务及其包括的子任务，使得训练得到的跨语言摘要模型在提取跨语言摘要信息时更准确。
一种文本处理方法系统存储介质终端设备

[发明专利]语言处理模型的训练方法及装置、电子设备及存储介质-CN201910842275.2在审
发明人：黎槟华;耿瑞莹;李永彬;孙健 -专利权人：阿里巴巴集团控股有限公司
申请日： 2019-09-06 - 公布日： 2021-03-26 - 主分类号： G06F16/33 文献下载
摘要：本公开涉及一种语言处理模型的训练方法及装置、电子设备及存储介质。所述语言处理模型的训练方法包括：获得N个意图类别的对话文本的训练样本向量和测试样本向量；在每一轮训练中，从所述N个意图类别中随机抽取C个意图类别；根据所述C个意图类别中抽取的训练样本向量，确定所述C个意图类别的语义向量；基于所述C个意图类别对应的测试样本向量以及所述C个意图类别的语义向量，确定损失函数的值，以更新所述语言处理模型的参数。本公开能够基于各个意图类别的少量的样本训练得到效果较好的语言处理模型，且训练得到的语言处理模型具备较好的抗噪能力，且能够快速适应意图类别的变化。
语言处理模型训练方法装置电子设备存储介质

[发明专利]自然语言模型训练方法、装置、电子设备及存储介质-CN202210848511.3在审
发明人：张文俊;暴宇健 -专利权人：北京龙智数科科技服务有限公司
申请日： 2022-07-19 - 公布日： 2022-10-14 - 主分类号： G06F40/289 文献下载
摘要：本申请提供了一种自然语言模型训练方法、装置、电子设备及存储介质。利用预设的词性标识符以及目标词性信息，生成每个词语对应的先验信息；基于每个词语以及词语对应的先验信息生成每个词语对应的二元组，其中每个词语对应的二元组之间利用预设的分隔符进行分隔；将全部词语对应的二元组所组成的数据集作为自然语言模型训练时的训练集，将训练集输入到自然语言模型中进行多轮训练，得到训练后的自然语言模型。本公开能够缩短自然语言模型训练时间、提高中文语料理解能力。
自然语言模型训练方法装置电子设备存储介质

[发明专利]模型训练方法、商品信息处理方法及相关装置-CN202210006034.6在审
发明人：李浩然 -专利权人：北京京东尚科信息技术有限公司
申请日： 2022-01-04 - 公布日： 2023-04-07 - 主分类号： G06F40/279 文献下载
摘要：本发明提供一种模型训练方法、商品信息处理方法及相关装置，通过将获取目标领域的第一样本文本和第二样本文本作为输入样本，输入至预训练语言模型中进行遮掩字符预测、下句预测和要素边界预测，并判断输出的遮掩字符预测结果、下句预测结果和要素边界预测结果是否满足预测要求；若不满足，调整预训练语言模型中的模型参数，再次进行预测直至预测结果满足预测要求，得到能够用于目标领域信息处理的预训练语言模型。在本方案中，在预训练语言模型的训练过程中，利用对不同特殊领域内的对象的要素边界的预测学习，达到学习特殊领域内的特征的目的，使预训练语言模型在特殊领域达到预期的效果。
模型训练方法商品信息处理相关装置

[发明专利]构建语言模型的方法及装置-CN201310207237.2有效
发明人：饶丰;卢鲤;陈波;张翔;岳帅;李露 -专利权人：腾讯科技（深圳）有限公司
申请日： 2013-05-29 - 公布日： 2016-11-23 - 主分类号： G10L15/06 文献下载
摘要：本发明公开了一种构建语言模型的方法及装置，属于语音识别技术领域。方法包括：根据对数据样本中的句子进行分类挖掘获取的分类训练样本构建文本分类器；通过文本分类器对数据样本进行分类并获取分类词表和分类语料；根据分类词表从分类语料中得到高频语言模板；分别对高频语言模板、分类语料和分类词表进行训练，得到分类模板语言模型、分类语言模型和分类词表语言模型。本发明通过对从数据样本中挖掘出的分类词表、分类语料和高频语言模板进行训练得到的分类词表语言模型、分类语言模型和分类模板语言模型，实现了在不增加数据样本数量的前提下，增加了语言模型的数量，进而提高了利用上述模型进行语音识别的准确性
构建语言模型方法装置

[发明专利]文本标注模型构建方法和装置-CN202011075457.0在审
发明人：丁博生;刘林林;邴立东;阮海天;沙菲克·乔蒂;司罗;苗春燕 -专利权人：阿里巴巴集团控股有限公司;南洋理工大学
申请日： 2020-10-09 - 公布日： 2022-04-12 - 主分类号： G06F16/35 文献下载
摘要：其中，所述方法包括：获取第一文本及其标注数据间的第一对应关系集；将第一文本及其标注数据作为语言模型的输入数据，通过语言模型，生成第二文本及其标注数据间的第二对应关系集；根据第一对应关系集和第二对应关系集采用这种处理方式，使得将文本和标注数据转换为语言模型的输入数据，通过语言模型学习训练数据中词的分布，通过训练后的语言模型，生成符合文本标注领域语言特点、且标注更为准确的新训练数据，实现基于语言模型的文本标注模型训练数据增强；因此，可以提升增强训练数据的准确率，从而提升模型准确度，特别是在低资源的情况下效果显著。
文本标注模型构建方法装置

[发明专利]用于训练机器学习算法以处理生物学相关数据的系统和方法、显微镜及经训练的机器学习算法-CN201980099039.4在审
发明人： C·卡佩尔 -专利权人：徕卡显微系统CMS有限公司
申请日： 2019-06-07 - 公布日： 2022-05-06 - 主分类号： G16B40/20 文献下载
摘要：系统(100)包括一个或多个处理器(110)和一个或多个存储设备(120)，其中系统(100)配置为通过由一个或多个处理器(110)执行的语言识别机器学习算法生成基于生物学相关语言的输入训练数据(102此外，系统(100)配置为通过语言识别机器学习算法根据第一高维表示生成基于生物学相关语言的输出训练数据，根据基于生物学相关语言的输入训练数据(102)和基于生物学相关语言的输出训练数据的比较调整语言识别机器学习算法此外，系统(100)配置为通过由一个或多个处理器(110)执行的视觉识别机器学习算法生成基于生物学相关图像的输入训练数据(104)的第二高维表示，根据第一高维表示和第二高维表示的比较调整视觉识别机器学习算法
用于训练机器学习算法处理生物学相关数据系统方法显微镜

[发明专利]语言模型的预训练方法、装置、电子设备及存储介质-CN202111210410.5在审
发明人：李浩然 -专利权人：北京京东尚科信息技术有限公司
申请日： 2021-10-18 - 公布日： 2023-04-21 - 主分类号： G06F40/274 文献下载
摘要：本公开提出一种语言模型的预训练方法、装置、电子设备及存储介质，涉及自然语言处理技术领域，该语言模型的预训练方法包括：获取训练语料；针对训练语料中的掩码文本中掩码区域中的第i个位置，根据生成的随机数、第一数值以及原始字符串，确定参考字符串；将掩码文本以及参考字符串输入语言模型中，获取第i个位置的预测字符；根据原始字符串中第i个位置的原始字符以及预测字符，对语言模型的系数进行调整，实现训练。由此，语言模型在逐字生成文本片段时，根据掩码文本和参考字符串，获取第i个位置的预测字符，上一时刻的预测字符不一定会作为当前时刻字符预测的输入，提高了语言模型的鲁棒性。
语言模型训练方法装置电子设备存储介质

[发明专利]跨语言文本表示方法和装置-CN201910678829.X有效
发明人：王硕寰;孙宇 -专利权人：百度在线网络技术（北京）有限公司
申请日： 2019-07-25 - 公布日： 2022-02-25 - 主分类号： G06F16/33 文献下载
摘要：本发明提出一种跨语言文本表示方法和装置，其中，方法包括：获取第一语种对应的第一训练文本和第一跨语言表示模型，其中，第一跨语言表示模型包括第一通用向量子模型和文本表示子模型；获取待处理文本对应的目标语种的第二训练文本；根据第一训练文本和第二训练文本训练第一通用向量子模型得到第二通用向量子模型；根据第二通用向量子模型和文本表示子模型获取目标语种的第二跨语言表示模型。由此，基于语义对齐处理挖掘不同语种之间的通用向量，基于通用向量进行跨语言文本处理，保证了跨语言处理模型的表示效果。解决了现有技术中，跨语言处理模型难以跨越语种不同的障碍导致的表示效果较差的技术问题。
语言文本表示方法装置

[发明专利]意图识别的方法、装置、设备和介质-CN202210262775.0在审
发明人：汪硕芃;张林箭;宋有伟;张聪;吕唐杰;范长杰;胡志鹏 -专利权人：网易（杭州）网络有限公司
申请日： 2022-03-17 - 公布日： 2022-07-05 - 主分类号： G06F16/33 文献下载
摘要：本申请公开了一种意图识别的方法、装置、设备和介质，该方法包括：获取训练样本集合，该训练样本集合包括多个训练样本，每个训练样本为抽象化意图的字符组合，训练样本至少包括有序排列的关注字符；在去重后训练样本集合的总字符数量大于或等于第一阈值时，根据字符出现次数对每个训练样本进行压缩处理，得到压缩样本集合；将压缩样本集合输入到预先构建的掩码语言模型进行训练，输出得到意图识别结果，该掩码语言模型用于将输入的压缩样本填充到待训练的语言提示模板中预设位置后进行训练本申请提供的实施例通过对训练样本进行统一的预处理改造，有效地提升了掩码语言模型的收敛速度。
意图识别方法装置设备介质

[发明专利]BERT嵌入语音翻译模型训练方法、系统及语音翻译方法和设备-CN202011557480.3有效
发明人：屈丹;张昊;杨绪魁;张连海;陈琦;李真;李静涛 -专利权人：中国人民解放军战略支援部队信息工程大学;郑州信大先进技术研究院
申请日： 2020-12-24 - 公布日： 2021-10-29 - 主分类号： G06F40/58 文献下载
摘要：本发明属于语音翻译技术领域，涉及一种BERT嵌入语音翻译模型训练方法、系统及语音翻译方法和设备，训练方法包含：收集模型训练数据；利用训练数据中的源语言预训练BERT模型，并将预训练后的BERT模型作为机器翻译模型编码层，并利用成对的源语言和目标语言文本对机器翻译模型进行训练，通过设置机器翻译模型中解码层层数来获取多个机器翻译模型；利用源语言成对的语音翻译数据训练语音识别模型；将训练后的语音识别模型编码层作为语音翻译模型编码层初始化参数，并采用熵加权方式对多个机器翻译模型输出进行加权来训练语音翻译模型，结合模型损失函数完成语音翻译模型训练。
bert 嵌入语音翻译模型训练方法系统设备