[发明专利]模型获取方法、关键词生成方法、装置、介质及计算设备有效
| 申请号: | 201910136539.2 | 申请日: | 2019-02-22 |
| 公开(公告)号: | CN109960749B | 公开(公告)日: | 2021-04-06 |
| 发明(设计)人: | 黄民烈;周昊;朱小燕 | 申请(专利权)人: | 清华大学 |
| 主分类号: | G06F16/901 | 分类号: | G06F16/901;G06F16/951;G06F16/953 |
| 代理公司: | 北京志霖恒远知识产权代理事务所(普通合伙) 11435 | 代理人: | 韩雪梅 |
| 地址: | 100084 北*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 模型 获取 方法 关键词 生成 装置 介质 计算 设备 | ||
1.一种基于领域约束的关键词生成模型的模型获取方法,其特征在于包括:
构建关键词生成模型,所述关键词生成模型包括基于编码器-注意力机制-解码器框架的主模块;
获取多个训练数据对,其中,每个训练数据对包括领域相匹配的源关键词和参考目标关键词;以及
利用所述多个训练数据对训练所述主模块,其中,所述训练的过程包括监督学习阶段,所述监督学习阶段包括:
针对每一个训练数据对,所述主模块基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布,从概率分布中采样第一隐变量,并且基于所述第一隐变量生成第一目标关键词;以及
通过最小化主模块的损失函数,利用梯度反向传播方式来更新所述主模块的参数;
其中,基于该训练数据对中源关键词和参考目标关键词的语义信息和领域信息来构建概率分布并采样包括:
经由编码器获得该训练数据对中源关键词和参考目标关键词各自的编码表示;
获得该训练数据对中源关键词和参考目标关键词各自的领域类别;基于该训练数据对中源关键词和参考目标关键词各自的编码表示和领域类别构建概率分布并采样第一隐变量。
2.根据权利要求1所述的基于领域约束的关键词生成模型的模型获取方法,其特征在于,基于所述第一隐变量生成第一目标关键词包括:
根据注意力机制,获得与该训练数据对中源关键词的编码表示相对应的第一上下文矢量;至少基于所述第一隐变量,获得预设词表中各词的、表征邻域信息的第一特定领域分数;
至少基于所述第一隐变量与所述第一上下文矢量,获得所述预设词表中各词的、表征语义信息的第一语言模型分数;以及根据所述预设词表中各词的第一语言模型分数和第一特定领域分数的第一加权和,确定对应的第一目标关键词。
3.根据权利要求2所述的基于领域约束的关键词生成模型的模型获取方法,其特征在于,在所述监督学习阶段,解码器基于所述第一特定领域分数、所述第一上下文矢量以及所述第一隐变量作为解码器的输入来输出所述第一目标关键词。
4.根据权利要求2所述的基于领域约束的关键词生成模型的模型获取方法,其特征在于,在计算所述第一加权和时,所述第一语言模型分数的权重和/或所述第一特定领域分数的权重为预设的固定值。
5.根据权利要求1所述的基于领域约束的关键词生成模型的模型获取方法,其特征在于,经由预先训练好的支持向量机SVM来获取源关键词和参考目标关键词各自的领域类别。
6.根据权利要求1所述的基于领域约束的关键词生成模型的模型获取方法,其特征在于,通过条件变分自编码CVAE来构建概率分布并采样第一隐变量。
7.根据权利要求2所述的基于领域约束的关键词生成模型的模型获取方法,其特征在于,获得预设词表中各词的第一特定领域分数包括:
预测所述第一隐变量的第一领域类别分布;以及将所述第一领域类别分布映射成预设词表中各词的第一特定领域分数。
8.根据权利要求1所述的基于领域约束的关键词生成模型的模型获取方法,其特征在于,构建强化学习模块,所述强化学习模块包含在所述关键词生成模型中,
所述训练的过程还包括强化学习阶段,所述强化学习阶段包括:
在预设的值空间中采样一组值,作为多个候选领域约束因子;对于每一个源关键词,利用训练后的主模块生成与所述多个候选领域约束因子对应的多个候选目标关键词;利用所述强化学习模块中的奖励估计部获得每个候选目标关键词的奖励;
以及
更新所述强化学习模块中的策略部的参数以使所述策略部选择能够得到最大奖励的候选领域约束因子。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910136539.2/1.html,转载请声明来源钻瓜专利网。





