[发明专利]文本处理方法、深度学习模型训练方法、装置以及设备在审

专利信息
申请号: 202211705167.9 申请日: 2022-12-28
公开(公告)号: CN116151215A 公开(公告)日: 2023-05-23
发明(设计)人: 丁思宇;王硕寰;赵晏彬;孙宇 申请(专利权)人: 北京百度网讯科技有限公司
主分类号: G06F40/20 分类号: G06F40/20;G06N3/08;G06N3/04
代理公司: 中科专利商标代理有限责任公司 11021 代理人: 张琛
地址: 100085 北京市*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要: 本公开提供了一种文本处理方法、深度学习模型训练方法、装置、设备、存储介质以及程序产品,涉及数据处理技术领域,尤其涉及人工智能、深度学习、自然语言处理等领域。具体实现方案为:获取输入文本;获取目标深度学习模型;通过目标深度学习模型处理输入文本,得到目标文本信息。
搜索关键词: 文本 处理 方法 深度 学习 模型 训练 装置 以及 设备
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/202211705167.9/,转载请声明来源钻瓜专利网。

同类专利
  • 文本相似度计算方法、装置、设备及存储介质-202310933269.4
  • 王春华;王菁菁;宋潇;文韬;陈劼 - 中国移动通信集团江苏有限公司;中国移动通信集团有限公司
  • 2023-07-26 - 2023-10-27 - G06F40/20
  • 本申请公开了一种文本相似度计算方法、装置、设备及存储介质,所述文本相似度计算方法包括:获取文本数据;将所述文本数据输入至预训练的文本计算模型,基于所述文本计算模型,对所述文本数据进行特征计算,得到文本特征向量;基于预设的双向门控神经网络BIGRU,对所述文本特征向量进行全局特征提取,确定目标语义特征矩阵;对所述目标语义特征矩阵进行相似类别划分,得到文本相似度信息。本申请属于计算机技术领域,通过孪生网络结构的双向门控神经网络实现文本数据的全局特征提取,不仅使用了文本数据的全局信息,还提升了算法的泛化能力,以此实现提高文本相似度计算的准确度。
  • 剧情数据处理方法、装置、设备、存储介质及程序产品-202310815145.6
  • 刘星言;程鹏宇;张玉律;郑哲;陈祺;安东岳;杜楠 - 腾讯科技(深圳)有限公司
  • 2023-07-04 - 2023-10-27 - G06F40/20
  • 本申请提供了一种剧情数据处理方法、装置、设备、存储介质及程序产品,应用于人工智能、游戏和自然语言处理等各种剧情处理场景;该剧情数据处理方法包括:获取训练样本集合中的第一剧情样本集合对应的第一评估标签集合;基于第一剧情样本集合和第一评估标签集合,确定指定评估模型对应的评估提示方式;基于评估提示方式和指定评估模型对第二剧情样本集合进行评估,得到第二评估标签集合,训练样本集合还包括除第一剧情样本集合之外的第二剧情样本集合;基于训练样本集合、第一评估标签集合和第二评估标签集合训练待训练模型,得到剧情评估模型,待训练模型的参数规模小于指定评估模型的参数规模。通过本申请,能够提升模型训练效率。
  • 一种词语挖掘方法、装置、电子设备及存储介质-202310822249.X
  • 阮禄;周航成;冉猛;秦蛟禹;危枫;王晨子 - 中国电信股份有限公司
  • 2023-07-05 - 2023-10-20 - G06F40/20
  • 本申请公开了一种词语挖掘方法、装置、电子设备和存储介质,属于数据处理领域,包括:获取待分析文本序列;对待分析文本序列进行关键词抽取,得到候选未登录词;确定候选未登录词之间的包含关系,在任一候选未登录词包含其他候选未登录词的情况下,将所包含的其他候选未登录词的集合作为任一候选未登录词的闭包子集;从候选未登录词中删除闭包子集,得到目标未登录词。这样,对候选未登录词进行了闭包子集去噪过滤,去除掉包含于其他候选未登录词的候选未登录词,以减少得到的目标未登录词的重复性和相似性,从而提高目标未登录词的质量,有利于在后续自然语言处理过程中,正确对输入的文本序列中进行切分,进而提高自然语言处理的准确度。
  • 一种基于自适应对比知识蒸馏的网络压缩方法和装置-202310758129.8
  • 郭晋阳;刘佳恒;王梓宁;刘祥龙 - 北京航空航天大学
  • 2023-06-26 - 2023-10-17 - G06F40/20
  • 本发明公开了一种基于自适应对比知识蒸馏的网络压缩方法及装置。该网络压缩方法包括如下步骤:引入对比性蒸馏损失作为显式监督,以最大化特征负样本对的距离;利用神经网络作为预测器,根据每个样本的学习特征来预测其辨别能力;然后,根据预测的辨别能力对不同样本的损失进行重新加权,以实现样本适应性重加权策略;将样本适应性重加权策略融入到对比性蒸馏损失中,构建自适应对比性蒸馏损失;基于自适应对比性蒸馏损失构建自适应对比知识蒸馏框架,用于实现自然语言处理过程中的神经网络压缩。
  • 多轮语料的测试方法、装置及计算机可读存储介质-202310816809.0
  • 付虹升;吴敏;李景 - 赛力斯汽车有限公司
  • 2023-07-05 - 2023-09-29 - G06F40/20
  • 本申请实施例涉及车辆技术领域,公开了一种多轮语料的测试方法、装置及计算机可读存储介质,方法包括:检测多轮语料中每轮语料所期望的设备是否为同一设备;若并非同一设备,则将多轮语料中的第一轮语料的期望值作为原始期望值;根据当前语料对应的期望值字段,对原始期望值中的相关期望值字段进行更新操作,并将更新得到的原始期望值作为当前语料的期望值;检测测试当前语料后的接口返回值与当前语料的期望值是否相同,并根据检测结果确定出当前语料的最终测试结果,无需对后续语料逐一进行期望值的手动配置,而是根据原始期望值获得后续每一轮语料的期望值,所以加快了后续每一轮语料期望值的配置过程。
  • 用于自然语言处理的方法、设备和介质-202310309764.8
  • 高德政;张璐;陶明;顾宝宝;尹顺顺 - 上海任意门科技有限公司
  • 2023-03-27 - 2023-09-22 - G06F40/20
  • 本公开的实施例涉及一种用于自然语言处理的方法,包括:针对所获取目标语料执行预处理,从而获取经预处理的语料;将经预处理的语料执行分词化处理,以获取用于生成型预训练变换(生成型预训练变换)模型的分词样本;将所获取的同一批次的分词样本分配到不同计算设备上执行所述生成型预训练变换模型的训练,从而获取对应于每个进程的梯度计算结果;以及基于所获取的梯度计算结果,将所述生成型预训练变换模型中关于同一分词样本的不同变换(transformer)层分配到不同计算设备上用以执行所述生成型预训练变换模型的训练,从而获取经训练的多层生成型预训练变换模型,以便至少基于经训练的多层生成型预训练变换模型生成目标自然语言序列。
  • 基于LLaMA模型解决职业教育机器自主学习方法和装置及设备-202310769100.X
  • 谢智盛;王蓉 - 厦门理工学院;福州连天教育科技有限公司
  • 2023-06-27 - 2023-09-19 - G06F40/20
  • 本发明公开了基于LLaMA模型解决职业教育机器自主学习方法和装置及设备。其中,方法包括:获取不同格式的文本数据;构建基于文本数据的LLAMA模型,并对文本数据中的知识点及考点进行识别;基于识别的知识点及考点构建知识图谱;基于构建的知识图谱持续自动生成考题;基于持续自动生成的考题对LLAMA模型进行训练;根据训练后的LLAMA模型,来对文本数据中的关键知识点和考试重点进行精确提取。本发明能够通过阅读和分析课本,自动地理解和识别关键知识点和考试重点,甚至可以生成考题。这种自主学习能力是现有技术所缺乏的,它不仅可以使AI系统变得更加智能,也可以更好地适应不断变化的教育环境。
  • 情绪识别的方法及相关装置-202310770010.2
  • 于海超;王波;武胜利;廖涛;孙亮;王艳君 - 中国银行股份有限公司
  • 2023-06-27 - 2023-09-15 - G06F40/20
  • 本申请提供一种情绪识别的方法及相关装置,可用于金融领域。该方法包括:获取针对第一事件发布的第一文本;获取针对第一事件发布的第二文本;根据第一算法,确定基于第一文本提取的用户对第一事件的第一情绪信息,第一算法用于基于文本提取用户的情绪信息;根据第一算法,确定基于第二文本提取的用户对第一事件的第二情绪信息;根据第一情绪信息和第二情绪信息确定目标情绪信息;将目标情绪信息确定为用户对第一事件的情绪信息。该方法可以提升对投资者的情绪进行识别时的准确率。
  • 一种信息处理方法和装置-202310538258.6
  • 李浩然;吴友政 - 北京京东尚科信息技术有限公司
  • 2023-05-12 - 2023-09-15 - G06F40/20
  • 本发明公开了一种信息处理方法和装置,涉及智能化信息处理技术领域。该方法实施方式可包括:获取终端设备接收到的待处理信息,并将待处理信息转换为标准文本;利用包含编码器和解码器的预训练语言模型,分析标准文本,其中,包含编码器和解码器的预训练语言模型通过训练编码器和解码器得到,在训练解码器过程为训练解码器用的编码信息添加噪声;根据分析结果,生成对应于待处理信息的反馈信息,并提供反馈信息给终端设备。该实施方式能够减少噪声干扰,以准确地分析出用户需求,从而提高智能化业务服务的用户体验。
  • 句向量模型的训练方法、文本语义增强的方法及装置-202310833852.8
  • 朱权;郑重;王潇茵;杜婉茹;丁醒醒;李瑞群;孙鹏程 - 航天宏康智能科技(北京)有限公司
  • 2023-07-07 - 2023-09-15 - G06F40/20
  • 本公开提供了一种句向量模型的训练方法、文本语义增强的方法及装置,其中训练方法包括:从预先构建的训练数据集获取预定数量的数据对;构建数据对中的输入序列,并将输入序列转换为对应的token序列;将token序列分别输入至嵌入层,得到对应的嵌入序列;将每种嵌入序列输入至自注意力层,得到每种嵌入序列的相关性序列;将每种相关性序列输入至池化层,得到用于表示每种相关性序列的初始向量;将每种初始向量输入至线性层,得到对应的目标向量;以最小化反映锚样本的方面词向量、正样本的句向量以及负样本的句向量的三元组损失函数为目标,对句向量模型进行训练。该过程降低了文本语义增强模型的复杂度,减少了人工成本和时间成本。
  • 非结构化文本的机器理解-201780031054.6
  • A·特里施勒;P·巴克曼;袁星柢;叶正;A·索尔多尼 - 微软技术许可有限责任公司
  • 2017-05-17 - 2023-09-15 - G06F40/20
  • 本文所描述的是用于提供自然语言理解系统的系统和方法,该自然语言理解系统采用两阶段过程以用于文本的机器理解。第一阶段指示可能回答问题的一个或多个文本的段落中的单词。第一阶段输出针对该问题的候选答案集合,以及针对每个候选答案的正确性的第一概率。第二阶段通过将每个候选答案插入到问题中来形成一个或多个假设,并确定每个假设与文本中的每个句子之间是否存在语义关系。第二处理电路装置生成针对每个候选答案的正确性的第二概率,并将第一概率与第二概率组合,以产生被用来对候选答案进行排序的分数。具有最高分数的候选答案被选择作为预测的答案。
  • 一种基于语义匹配模型的启发式实体对齐方法-202310701824.0
  • 朱泽阳;谢金浩;李一鸣;崔俊;黄越 - 上交所技术有限责任公司
  • 2023-06-14 - 2023-09-05 - G06F40/20
  • 本发明涉及实体对齐技术,具体来说是一种基于语义匹配模型的启发式实体对齐方法,所述方法步骤如下:A、判定两个实体是否属于同一类;B、通过名称匹配判定两者是否指代同一个实体;C、如果无法判断则进一步寻找比较两个实体的描述文本;D、如果找不到两个实体的描述内容,通过爬虫爬取两个实体的相关描述;E、将描述文本或相关描述进行语义相似度匹配;F、如果还是无法判断,则引入人工进行实体对齐判定。本发明优点在于:本发明提出了一种基于语义匹配模型的启发式实体对齐方法,随着模型的循环迭代,实体对齐的准确率会逐渐提升;本发明还引入主动学习策略,交互式填充词库;本发明对样本的要求不高,不需要大量相似行业、产品的标注数据。
  • 文本相似度识别方法、装置、计算机设备及存储介质-202310717633.3
  • 李登昊;王健宗;黄章成 - 平安科技(深圳)有限公司
  • 2023-06-16 - 2023-09-01 - G06F40/20
  • 本发明公开了一种文本相似度识别方法、装置、计算机设备及存储介质,通过获取目标文档,所述目标文档中包括至少一个文档句子;基于所有文档句子进行图模型构建,得到目标文档对应的句子图模型;所述句子图模型中包含与文档句子一一对应的句子节点;确定每两个句子节点在句子图模型中的节点距离;根据节点距离,确定目标文档中每两个文档句子之间的文本相似度。本发明能够有效捕捉目标文档中文档句子的上下文信息,确定单个句子和其它文档句子之间的差异性特征,提高文档摘要任务或者文档检索任务的准确率,以使得通过该方法对金融或者保险等相关报刊、杂志或者期刊等文档进行文本摘要提取或文档检索时的可靠性较高。
  • 神经网络数据输入系统的设备/服务器部署-201780065887.4
  • M·J·威尔森;M·菲斯凯托;J·伊索-西皮莱;D·A·H·欧 - 微软技术许可有限责任公司
  • 2017-10-16 - 2023-08-29 - G06F40/20
  • 描述了一种电子设备,其具有用于接收项的序列中的至少一项的至少一个输入接口。所述电子设备能够与服务器进行通信,所述服务器存储神经网络以及生成所述神经网络的项嵌入的过程。所述电子设备具有存储器,该存储器存储有所述神经网络的副本和所述神经网络的多个项嵌入。在当电子设备处存在对应于所接收的至少一项的对应的项嵌入的不可用性时的情况下,所述电子设备触发对应的项嵌入从服务器向电子设备的传输。电子设备处的处理器通过利用所述神经网络的副本和所述多个项嵌入处理对应的项嵌入来预测所述序列中至少一个候选的下一项。
  • 一种基于逆强化学习自动调整奖励的文本摘要系统-202310281938.4
  • 付宇;熊德意;贺瑞芳;孟庆霖 - 天津大学
  • 2023-03-22 - 2023-08-01 - G06F40/20
  • 本发明公开了一种基于逆强化学习自动调整奖励的文本摘要系统,所述系统包括摘要模型、奖励模块、策略模块和人工摘要模型,所述摘要模型提取原始文档数据采用逆强化算法生成文本摘要函数Y;所述奖励模块对文本摘要函数更新不同奖励的权重;所述策略模块采用如下公式对文本摘要函数进行混合奖励函数的训练;所述人工摘要模块通过评价指标对训练后文本摘要函数进行最终奖励输出最优文本摘要模型;本发明将逆强化学习训练文本摘要领域,克服现有技术中训练目标不匹配、暴露偏差的技术问题,提高人工智能生成文本摘要的精准性。
  • 电子装置及其控制方法-201780078439.8
  • 潘大铉;朴佑镇;李圭行;林尚谆;韩成元 - 三星电子株式会社
  • 2017-03-09 - 2023-08-01 - G06F40/20
  • 提供了一种电子装置和控制方法。所述电子装置包括:存储单元,用于存储基于用户的词典;输入单元,用于接收输入的句子,其中,所述输入的句子包括用户特定词语和通过基于神经网络的语言模型学习的至少一个词语;以及处理器,用于基于所述输入的句子的语义信息确定所述用户特定词语的概念类别,将所述用户特定词语添加到所述基于用户的词典以执行更新,并且当与学习的所述至少一个词语的语义信息相应的文本被输入时,将所述用户特定词语提供为能够在所述文本之后被输入的自动补全推荐词语。
  • 增强的粘贴板使用的技术-201780081785.1
  • 金东虎;袁丽荣 - 谷歌有限责任公司
  • 2017-09-21 - 2023-07-28 - G06F40/20
  • 本文描述了用于减少用户所需的输入数量以利用复制/剪切内容来执行各种操作的技术。在各种实施方式中,可以确定新内容已经被添加到存储在计算设备的存储器中的粘贴板数据结构。新内容可以准备好以响应于粘贴命令而被提供作为一个或多个应用的输入。可以分析新内容以识别新内容的属性。附加地或替选地,可以识别计算设备的状态的动态属性。在各种实施方式中,基于新内容的属性和/或动态属性,可以识别候选动作,所述候选动作能够将新内容用作输入而执行。可以生成并提供基于候选动作的输出。
  • 医疗专业名词特征提取模型训练、标准化方法及装置-202310422988.X
  • 赵礼悦;齐综擎 - 北京亚信数据有限公司
  • 2023-04-19 - 2023-07-07 - G06F40/20
  • 本发明公开了一种医疗专业名词特征提取模型训练、标准化方法及装置。所述方法包括:获取多个客户医疗专业名词及多个标准医疗专业名词;根据名词间的映射关系,将客户医疗专业名词和标准医疗专业名词组合作为训练样本,生成样本集;将样本集输入至孪生网络模型中进行特征提取,并根据各训练样本内提取的特征向量间的差异进行模型参数优化调整,将调整后的模型作为医疗专业名词特征提取模型。本发明极大地提高了医疗专业名词的标准化过程的效率和准确性。
  • 文本标点预测方法、装置、系统及存储介质-202110555504.X
  • 何梦中;李秀林;吴本谷 - 标贝(北京)科技有限公司
  • 2021-05-21 - 2023-07-07 - G06F40/20
  • 本发明提供一种文本标点预测方法、装置、系统及存储介质。方法包括:获取待处理文本;按照文本段对待处理文本进行划分,文本段是单个词或单个字符;将文本划分结果输入标点预测模型,以获得与待处理文本中的所有文本段一一对应的初始预测结果,初始预测结果包括与N个预设标点一一对应的N个预测概率,每个预测概率表示对应文本段后面的标点是对应预设标点的概率,N为大于1的正整数;对待处理文本中的至少部分文本段所对应的初始预测结果进行平滑处理,以获得与待处理文本中的所有文本段一一对应的最终预测结果;基于待处理文本中的所有文本段所对应的最终预测结果确定待处理文本包含的标点,以获得标点预测结果。有助于提高标点预测的准确率。
  • 使用人工神经网络的基于深度上下文的语法错误校正-201780094942.2
  • 林晖;王川;李若冰 - 语冠信息技术(上海)有限公司
  • 2017-08-03 - 2023-07-07 - G06F40/20
  • 本文公开了用于语法错误检测的方法和系统。在一个示例中,接收句子。至少部分地基于一种或更多种语法错误类型来识别句子中的一个或更多个目标词。一个或更多个目标词中的每个目标词与一种或更多种语法错误类型中的至少之一对应。对于一个或更多个目标词中的至少之一,使用针对对应的语法错误类型受训的人工神经网络模型来估计关于该语法错误类型的目标词的分类。至少部分地基于目标词以及目标词的估计分类来检测句子中的语法错误。
  • 因果关系识别装置及存储介质-201780061597.2
  • 卡纳萨·库恩卡莱;桥本力;鸟泽健太郎;朱利安·克洛埃特泽;吴钟勋;田仲正弘 - 国立研究开发法人情报通信研究机构
  • 2017-09-28 - 2023-07-04 - G06F40/20
  • 提供一种无论线索词存在与否,能够以高精度识别因果关系表达的因果关系识别装置。因果关系识别装置(30)包括:候补矢量生成部(50),接受因果关系候补(32),并生成表示构成该候补的单词序列的候补矢量;上下文矢量生成部(52),生成表示上下文的上下文矢量,在所述上下文中,出现因果关系候补的原因部的名词词组和结果部的名词词组;二进制模式矢量生成部(54)、回答矢量生成部(56)以及与背景知识有关的关联段落矢量生成部(58),生成表示背景知识的单词矢量,所述背景知识用于判断原因部中包括的名词词组和结果部中包括的名词词组之间有无因果关系;以及多列卷积神经网络(60),预先学习完毕,使得接受这些单词矢量,并判断因果关系候补是否为因果关系。
  • 文件评价方法、装置、设备及存储介质-202310342686.1
  • 王耀;张晓永;黄莹;潘芸倩;奚悦;叶静娴;陈又新 - 平安科技(深圳)有限公司
  • 2023-03-24 - 2023-06-30 - G06F40/20
  • 本申请涉及人工智能技术领域,提供一种文件评价方法、装置、设备及存储介质,其具体可应用于金融领域和医疗领域的文件评价,方法包括:从待评价文件中提取结构化文本和非结构化文本;从结构化文本中提取第一预设特征计算文本;基于第一预设特征计算文本,采用多维度评价方法计算得到第一预设特征;从非结构化文本中提取第二预设特征计算文本;计算第二预设特征计算文本与预设的基准文本的相似度,将相似度作为第二预设特征;根据第一预设特征、第二预设特征计算得到待评价文件的评价分值。本发明实施例提高了文件评价结果的准确性。
  • 跟进话音查询预测-201780042496.0
  • B.贝扎迪;D.奥斯马科夫;M.鲍姆尔;G.斯科贝尔特辛 - 谷歌有限责任公司
  • 2017-06-23 - 2023-06-20 - G06F40/20
  • 用于预测对话语的初始转录的跟进查询的方法、系统和装置,其包括编码在计算机存储介质上的计算机程序。在一些实施方式中,识别与用户的初始话语的转录预关联的一个或多个跟进查询。获得新的或修改的语言模型,其中与一个或多个跟进查询相关联的相应概率相对于初始语言模型增加。然后接收与用户的后续话语相对应的后续音频数据。使用新的或修改的语言模型处理后续音频数据,以生成后续话语的转录。然后提供后续话语的转录以输出给用户。
  • 计算机消息机器人的创建-201780036853.2
  • B·施莱辛格;H·菲特斯;A·科恩;Y·P·博苏特斯基;E·科恩;W·拉姆齐;D·科伦 - 微软技术许可有限责任公司
  • 2017-06-08 - 2023-06-16 - G06F40/20
  • 可以从计算机可读开发者简档接收创建数据,其中创建数据包括用于创建消息机器人的指令。可以使用该指令生成消息机器人定义,并且可以使用该定义来执行消息机器人。指令可以包括定义一个或多个消息机器人特征的自然语言指令。自然语言指令可以与一个或多个命令匹配以在消息机器人中包括一个或多个特征,并且这些特征的指令可以被包括在消息机器人定义中。指令可以是非计算机编程语言的指令,并且它们可以是用于创建一个或多个通用的消息机器人特征的指令,一个或多个通用的消息机器人特征被配置成利用定义一个或多个特定自然语言对话脚本的特定对话结构来实施。
  • 一种信息处理系统、信息处理方法、及计算机程序-201780084260.3
  • 毛羽翔 - 株式会社野村综合研究所
  • 2017-08-07 - 2023-05-26 - G06F40/20
  • 词典制作装置(14)对通过自然语言处理装置(16)进行自然语言处理过程中所使用的词典进行记忆,该词典是存储有作为意义可单独成立的单词的主题词的词典。词典制作装置(14)从专利文献DB(12)中保存的专利文献字符串中,以至少除去已经存储在词典中的主题词之外的剩余的字符串作为短语,从中提取多个短语。在提取的多个短语中,指定个数以上的短语的开头部分存在相同的字符串时,词典制作装置(14)将该相同的字符串作为主题词进行提取。词典制作装置(14)将提取的主题词存储至词典。
  • 一种基于关系抽取的知识库融合方法-202210232531.8
  • 叶东;肖岩;李晖;王日昆;孙兆伟 - 哈尔滨工业大学
  • 2022-03-09 - 2023-05-26 - G06F40/20
  • 一种基于关系抽取的知识库融合方法,本发明涉及基于关系抽取的知识库融合方法。本发明的目的是为了解决现有知识融合方法忽略了文本中不同表述方式而语义相同的潜在合并内容,无法将属于同一知识的不同实体进行有效合并的问题。一种基于关系抽取的知识库融合方法过程为:步骤1:文本数据预处理;步骤2:关系规则抽取,获取关系规则库;步骤3:使用步骤2获取的关系规则库作为数据驱动,抽取待抽取文本数据中的关系三元组,从而构建统一的知识库。本发明用于信息抽取领域。
  • 语言模型中嵌入模块计算优化的方法-202210531140.6
  • 李敏;曾锦乐;蓝翔;吴志华;刘益群;邢冯 - 北京百度网讯科技有限公司
  • 2022-05-16 - 2023-05-12 - G06F40/20
  • 本公开提供了一种语言模型中嵌入模块计算优化的方法,涉及深度学习、自然语言处理等人工智能技术领域。该方法包括:获取输入数据,其中,输入数据包含至少一个带填充的输入张量;基于输入张量生成索引张量,其中,索引张量中存储了输入张量中非填充元素的索引;基于索引张量和聚集算子对输入张量进行压缩,得到压缩后的输入张量;将压缩后的输入张量作为嵌入模块的输入,计算得到目标张量。本公开提供的语言模型中嵌入模块计算优化的方法对输入样本的索引集合、类别集合和位置集合进行压缩,并将压缩后得到的张量作为其他模块的输入进行计算,减少了嵌入模块中各层的计算量,提升了嵌入模块的性能。
  • 文本处理模型生成方法、装置、电子设备和存储介质-202310102691.5
  • 伍星;林梓佳 - 北京达佳互联信息技术有限公司
  • 2023-01-29 - 2023-05-05 - G06F40/20
  • 本公开关于文本处理模型生成方法、装置、电子设备和存储介质,该方法包括:通过对待训练文本表征模型进行神经元丢弃处理,得到正文本表征模型,将样本文本信息和初始文本表征信息分别输入到待训练文本表征模型和正文本表征模型中,得到样本文本表征信息以及正样本文本表征信息。对样本文本信息进行掩码处理,得到掩码信息,并将掩码信息和初始文本表征信息输入到掩码生成判别器和掩码生成器中,得到掩码检测结果和掩码复原结果。基于样本文本表征信息、正样本文本表征信息、掩码检测结果、掩码复原结果和样本文本信息进行模型训练,得到文本处理模型。该方法可以从多个角度丰富待训练文本表征模型的可识别特征,提高了文本表征模型的准确性。
专利分类
×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

400-8765-105周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top