[发明专利]一种问题回复方法、装置和电子设备有效
申请号: | 202111565779.8 | 申请日: | 2021-12-21 |
公开(公告)号: | CN113934836B | 公开(公告)日: | 2022-03-01 |
发明(设计)人: | 郭俊廷;林小俊;支涛 | 申请(专利权)人: | 北京云迹科技有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F40/289;G06K9/62 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 刘珂 |
地址: | 100080 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 问题 回复 方法 装置 电子设备 | ||
1.一种问题回复方法,其特征在于,包括:
获取机器人的人物属性信息和作为训练语料的问题文本;
将所述人物属性信息和问题文本输入到第一文本生成模型中对所述第一文本生成模型进行训练,使得训练后的所述第一文本生成模型能够得到回答所述问题文本的待确定的答案文本,其中,所述第一文本生成模型,包括:属性融合编码器和单向解码器;待确定的所述答案文本携带有所述机器人的人物属性;
将所述机器人的人物属性信息输入到第一BERT网络中,得到机器人属性向量,将待确定的所述答案文本输入到第二BERT网络中,得到答案文本向量;其中,所述第一BERT网络和第二BERT网络是具有相同参数的孪生BERT网络;关系推理模型,包括:第一BERT网络、第二BERT网络和分类器;
将得到的机器人属性向量和答案文本向量进行拼接,得到拼接向量;
将所述拼接向量输入到所述分类器中,确定人物属性信息与待确定的所述答案文本中携带的人物属性之间的关系,从而训练得到所述关系推理模型;其中,所述关系包括: 蕴含关系、中立关系和矛盾关系;
当人物属性信息与待确定的所述答案文本中携带的人物属性之间的关系是矛盾关系时,将所述人物属性信息和与人物属性信息是矛盾关系的待确定的答案文本输入到第二文本生成模型中对第二文本生成模型进行训练,使得训练后的所述第二文本生成模型能够得到回答所述问题文本的最终的答案文本,其中,所述第二文本生成模型,包括:融合编码器和解码器。
2.根据权利要求1所述的方法,其特征在于,
所述将所述人物属性信息和问题文本输入到第一文本生成模型中对所述第一文本生成模型进行训练,使得训练后的所述第一文本生成模型能够得到回答所述问题文本的待确定的答案文本,包括:
对BERT模型进行预训练,并对所述人物属性信息和所述问题文本进行预处理,得到所述人物属性信息的属性分词向量和所述问题文本的问题分词向量;
获取所述问题分词向量的维度和所述属性分词向量的维度,并从所述属性分词向量中确定出属性分词向量最大值和属性分词向量最小值,从所述问题分词向量中确定出问题分词向量最大值和问题分词向量最小值;
将所述问题分词向量的维度、所述属性分词向量的维度,属性分词向量最大值、属性分词向量最小值,问题分词向量最大值和问题分词向量最小值输入到预训练后的所述BERT模型中,执行以下操作:
通过以下公式计算所述问题分词向量和所述属性分词向量融合时使用的缩放系数:
其中,表示缩放系数;表示属性分词向量最大值;表示属性分词向量最小值;表示属性分词向量的维度;表示问题分词向量最大值;表示问题分词向量最小值;表示问题分词向量的维度;
从所述属性分词向量中选择待融合的第一向量,并从所述问题分词向量中选择待融合的第二向量;
通过以下公式计算得到第一向量与第二向量融合后的融合向量:
其中,表示第一向量与第二向量融合后的融合向量;表示第一向量;表示第二向量;表示第二向量的转置;
通过以下公式计算得到融合有用户属性的问题向量:
其中,表示融合有用户属性的问题向量;
当所有的所述问题分词向量和所有的所述属性分词向量都在所述BERT模型中进行融合操作时,得到所述属性融合编码器;
将融合有用户属性的问题向量输入到预训练后的所述BERT模型中,并利用单向掩码注意力机制对所述BERT模型进行训练,得到单向解码器;所述单向解码器,用于输出待确定的答案文本的答案向量;
将待确定的答案文本的答案向量输入到文本生成器中,得到回答所述问题文本的待确定的答案文本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京云迹科技有限公司,未经北京云迹科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111565779.8/1.html,转载请声明来源钻瓜专利网。