|
钻瓜专利网为您找到相关结果 25个,建议您 升级VIP下载更多相关专利
- [发明专利]参数高效训练方法、装置及存储介质-CN202310261704.3在审
-
王雅圣;张正彦;刘知远
-
华为技术有限公司;清华大学
-
2023-03-09
-
2023-10-13
-
G06N3/08
- 本申请涉及神经网络技术领域,尤其涉及一种参数高效训练方法、装置及存储介质。所述方法包括:获取预训练完成的语言模型,语言模型包括m个神经元各自对应的第一参数;根据语言模型和训练语料集进行训练,得到m个神经元各自对应的第二参数;当获取到少样本学习任务时,确定少样本学习任务对应的n个神经元;根据n个神经元各自对应的第二参数,对少样本学习任务进行初始化和参数训练。本申请实施例通过对于某个下游的少样本学习任务确定对应的神经元,而针对每一个神经元,已经预训练可以激活该神经元对应的参数,那对于该少样本学习任务,使用这些预训练好的参数,可以大幅提高在该任务上的训练效率以及少样本或者零样本的能力。
- 参数高效训练方法装置存储介质
- [发明专利]一种数据处理方法及相关设备-CN202210111721.4在审
-
周平义;任晓哲;王雅圣;何彬;蒙新泛;蒋欣
-
华为技术有限公司
-
2022-01-29
-
2023-08-11
-
G06N3/082
- 本申请涉及人工智能领域,公开了一种数据处理方法,方法包括:通过目标神经网络,处理目标数据,以得到数据处理结果,目标神经网络的目标header用于通过第一变换矩阵对第一子数据对应的第一向量进行处理,以及通过第二变换矩阵对第一子数据对应的第二向量进行处理;第一向量对应于第一子数据在目标数据中的位置信息,第二向量对应于第一子数据的语义信息。本申请将位置向量所对应的变换矩阵的矩阵尺寸大小设置为小于语义向量所对应的矩阵的尺寸大小,也就是第一变换矩阵的尺寸小于第二变换矩阵的尺寸。可以降低位置信息之间的关联度计算时所采用的变换矩阵的尺寸大小,从而降低了模型在推理或者训练过程中的计算资源的开销。
- 一种数据处理方法相关设备
- [发明专利]一种数据处理方法及其装置-CN202310227307.4在审
-
郭寅鹏;肖猛;王雅圣
-
华为技术有限公司
-
2023-02-28
-
2023-06-23
-
G06F40/30
- 一种数据处理方法,涉及人工智能领域,包括:获取第一文本,所述第一文本为程序代码;根据所述第一文本,通过第一神经网络,预测第一编辑位置以及编辑动作类型;根据所述第一编辑位置以及所述第一文本中处于所述第一编辑位置的上下文代码,通过自然语言生成模型,预测所述第一编辑位置对应的目标代码。本申请通过第一神经网络来预测代码中需要进行编辑的位置以及编辑的动作,之后基于编辑信息来进行代码合成,进而可以实现编辑位置的预测,从而实现代码的编辑,此外,除了可以实现代码编辑的功能之外,还可以兼容基于编辑的多任务代码生成,例如、代码补全、代码插入、代码摘要生成等。
- 一种数据处理方法及其装置
- [发明专利]一种数据处理方法及相关装置-CN202211214438.0在审
-
任晓哲;周平义;蒙新泛;王雅圣;魏建生;蒋欣;苏腾
-
华为技术有限公司
-
2022-09-30
-
2023-03-31
-
G06N3/0464
- 一种数据处理方法,应用于人工智能领域,方法包括:根据目标映射关系,确定目标词向量对应的一个或多个目标网络单元以及存储地址,存储地址对应的存储空间位于计算单元之外的存储空间;从存储空间中获取一个或多个目标网络单元;根据目标词向量,通过计算单元执行根据一个或多个目标网络单元构建的神经网络对应的训练过程。本申请中由于大规模模型中的目标网络单元存储在计算单元之外的存储位置,在当前的训练样本为对应的词向量时,从计算单元之外的存储位置中提取对应的一个或多个目标网络单元,由于计算单元之外的存储位置的存储空间可以设置的较大,通过存算分离,可以提高训练时大规模模型自身的大小,并增加大规模模型的可扩展性和灵活度。
- 一种数据处理方法相关装置
- [发明专利]语言处理方法、装置及存储介质-CN202211448071.9在审
-
王亚岛;蒋欣;糜飞;王雅圣
-
华为技术有限公司
-
2022-11-18
-
2023-02-24
-
G06F16/33
- 本申请涉及自然语言处理领域,尤其涉及一种语言处理方法、装置及存储介质。所述方法包括:获取目标语言处理任务的待处理文本和第一提示信息,第一提示信息为任意长度的文本序列;将第一提示信息编码成第二提示信息,第二提示信息为固定长度的向量组;将第二提示信息与待处理文本进行拼接处理,得到拼接后的待处理文本;将拼接后的待处理文本输入至预先训练完成的目标语言模型中进行处理。本申请实施例设计并实现了一种方案,将任意长度的第一提示信息编码成固定长度的第二提示信息,将第二提示信息与待处理文本进行拼接后进行语言处理,解决了提示信息的长度严重受限于预训练语言模型的输入最大长度的问题,提升了语言处理效果。
- 语言处理方法装置存储介质
- [发明专利]缺失语义补全方法及装置-CN201910428203.3有效
-
曾毓珑;魏建生;王雅圣;邓利群;崔安颀
-
华为技术有限公司
-
2019-05-21
-
2023-02-24
-
G06F16/332
- 本发明公开了人工智能领域自然语言处理领域中的一种缺失语义补全方法,包括:获取提问语句及历史对话语句;获取提问语句中的待消解项的位置信息,根据历史对话语句和待消解项的位置信息对提问语句的待消解项进行消解,以得到消解后的提问语句;确定提问语句中是否有成分被省略,若提问语句中有成分被省略,则根据历史对话语句将省略的成分补全,以得到省略补全的提问语句;对消解后的提问语句和省略补全的提问语句进行融合,以得到融合后的提问语句;从消解后的提问语句、省略补全的提问语句和融合后的提问语句中确定目标补全提问语句。本发明的方法适用于各种缺失语义补全的应用场景,有利于提高补全提问语句中缺失语义的准确性及效率。
- 缺失语义方法装置
- [发明专利]一种查找方法及装置-CN201680090513.3有效
-
王雅圣;张旸;张洪波
-
华为技术有限公司
-
2016-10-27
-
2021-07-20
-
G06F16/36
- 一种查找方法及装置,涉及人工智能领域中的自然语言处理技术领域,解决了现有技术确定出的专业领域的文本的参考文本准确度较低的问题。该方法包括:获取当前待分析的目标案例中的n个命名实体(S300);确定第一特征和第二特征(S301);根据第一特征和第二特征,按照预设的向量生成规则生成目标案例对应的目标特征向量(S302);获取数据库中每个历史案例以及每个历史案例对应的特征向量(S303);分别计算目标特征向量与每个历史案例对应的特征向量之间的相似度,选取相似度结果满足预设条件的历史案例作为参考案例(S304)。
- 一种查找方法装置
|