[发明专利]对话意图识别、用于识别对话意图的模型的训练方法在审
| 申请号: | 202110909637.2 | 申请日: | 2021-08-09 |
| 公开(公告)号: | CN113590798A | 公开(公告)日: | 2021-11-02 |
| 发明(设计)人: | 聂礼强;刘萌;张昊宇;高赞;王英龙;雷小强;李岩 | 申请(专利权)人: | 北京达佳互联信息技术有限公司;山东大学 |
| 主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F40/35;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 冯右明 |
| 地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 对话 意图 识别 用于 模型 训练 方法 | ||
1.一种对话意图识别方法,其特征在于,包括:
获取与用户账户之间的历史对话语句,并提取各所述历史对话语句对应的话语特征;
分别将各所述话语特征作为节点,并对各所述节点进行两两连接,得到话语节点全连接图;
将所述话语节点全连接图输入至预训练的图神经网络模型,得到话语节点关系图;所述话语节点关系图为所述预训练的图神经网络模型对所述话语节点全连接图中的各节点对应的上下文信息和各节点间的连接关系进行调整后得到的;所述话语节点关系图中相连接的两个节点所对应的历史对话语句具有上下文关联关系;所述预训练的图神经网络模型为采用样本对话语句和对应的答复内容,对待训练的图神经网络模型进行训练得到的;
根据所述话语节点关系图,确定所述用户账户在本次对话中的目标对话意图。
2.根据权利要求1所述的对话意图识别方法,其特征在于,若所述历史对话语句包括文本和图像,所述提取各所述历史对话语句对应的话语特征,包括:
将所述文本输入至预训练的文本编码器,得到所述文本的文本向量表示,以及,将所述图像输入至预训练的视觉编码器,得到所述图像的视觉向量表示;
对所述文本向量表示和所述视觉向量表示进行融合处理,得到融合向量表示;
将所述融合向量表示确定为所述历史对话语句对应的话语特征。
3.根据权利要求2所述的对话意图识别方法,其特征在于,所述将所述文本输入至预训练的文本编码器,得到所述文本的文本向量表示,包括:
获取所述文本中每个词的原始词向量表示;
将各所述原始词向量表示输入至所述预训练的文本编码器中的第一注意力机制层,得到各所述词的加权后词向量表示;所述第一注意力机制层,用于基于各所述词与预设词属性之间的相关程度,确定各所述词的属性权重,并按照各所述词的属性权重,对各所述词的原始词向量表示进行加权,得到各所述词的加权后词向量表示;
分别对各所述词的加权后词向量表示和原始词向量表示进行融合处理,得到各所述词的融合后词向量表示;
将各所述融合后词向量表示输入至所述预训练的文本编码器中的文本表示模型,得到所述文本的文本向量表示。
4.根据权利要求1所述的对话意图识别方法,其特征在于,所述根据所述话语节点关系图,确定所述用户账户在本次对话中的目标对话意图,包括:
获取所述话语节点关系图中目标对话节点的第一节点向量表示,以及,所述话语节点全连接图中目标对话节点的第二节点向量表示;所述目标对话节点为所述用户账户当前发送的对话语句对应的节点;
对所述第一节点向量表示和所述第二节点向量表示进行融合处理,得到用于表征所述目标对话意图的意图向量表示。
5.一种用于识别对话意图的模型的训练方法,其特征在于,包括:
获取训练样本数据;所述训练样本数据包括样本对话语句和对应的答复内容;
提取各所述样本对话语句对应的样本话语特征;
分别将各所述样本话语特征作为节点,并对各所述节点进行两两连接,得到样本话语节点全连接图;
将所述样本话语节点全连接图输入至待训练的图神经网络模型,得到样本话语节点关系图;所述样本话语节点关系图为所述待训练的图神经网络模型对所述样本话语节点全连接图中的各节点对应的上下文信息和各节点间的连接关系进行调整后得到的;所述样本话语节点关系图中相连接的两个节点所对应的样本对话语句具有上下文关联关系;
根据所述话语节点关系图,确定所述样本对话语句的预测对话意图,并获取与所述预测对话意图相匹配的预测答复内容;
基于所述样本对话语句对应的答复内容与所述预测答复内容间的差异,对所述待训练的图神经网络模型的模型参数进行调整,直至调整后的所述待训练的图神经网络模型符合预设训练结束条件,得到预训练的图神经网络模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京达佳互联信息技术有限公司;山东大学,未经北京达佳互联信息技术有限公司;山东大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110909637.2/1.html,转载请声明来源钻瓜专利网。





