[发明专利]一种基于自适应融合多注意力网络的问题和答案匹配方法在审
申请号: | 202110287825.6 | 申请日: | 2021-03-17 |
公开(公告)号: | CN112966499A | 公开(公告)日: | 2021-06-15 |
发明(设计)人: | 杨猛;梁伟日;谷雨 | 申请(专利权)人: | 中山大学 |
主分类号: | G06F40/279 | 分类号: | G06F40/279;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 广州粤高专利商标代理有限公司 44102 | 代理人: | 刘俊 |
地址: | 510275 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 自适应 融合 注意力 网络 问题 答案 匹配 方法 | ||
1.一种基于自适应融合多注意力网络的问题和答案匹配方法,其特征在于,包括以下步骤:
S1:分别将问题和答案里的每个单词都转化为词向量,并对问题和答案中的词向量进行编码,得到问题和答案的词向量序列;
S2:根据词向量序列使用多个自注意网络提取一个问题中不同方面的信息,并分别编码为不同的问题向量;
S3:使用序列注意力网络为每个问题向量生成对应的答案向量;
S4:计算出每个问题向量及其对应的答案向量的匹配度得分,并通过评估出一个问题中每个问题向量的权重以自适应地融合多个方面信息的匹配度得分,根据融合后的匹配度得分进行问题和答案的匹配。
2.根据权利要求1所述的一种基于自适应融合多注意力网络的问题和答案匹配方法,其特征在于,在步骤S1中,采用双向LSTM分别对问题和答案中的词向量进行编码。
3.根据权利要求2所述的一种基于自适应融合多注意力网络的问题和答案匹配方法,其特征在于,给定包含l个单词的句子S=(w1,w2,...,wl),利用双向LSTM编码词向量,获取对应的隐藏层:
当给定的句子S为问题时,则得到问题中每个词向量的隐藏层向量序列Hq={hq(1),...,hq(l)},将Hq={hq(1),...,hq(l)}作为问题的词向量序列;
当给定的句子S为答案时,则得到答案中每个词向量的隐藏层向量序列Ha={ha(1),...,ha(l)},将Ha={ha(1),...,ha(l)}作为答案的词向量序列;
其中,w1,w2,...,wl分别为句子S中的l个单词,为前向LSTM的在t时刻的隐层状态,表示前向LSTM的编码过程,为前向LSTM的在t-1时刻的隐层状态,wt是t时刻输入LSTM进行编码的的单词向量,为后向LSTM的在t时刻的隐层状态,表示后向LSTM编码的编码过程,为后向LSTM的在t-1时刻的状态,ht是双向LSTM的最终编码结果,hq(1),...,hq(l)分别为问题中的l个词向量,ha(1),...,ha(l)分别为答案中的l个词向量。
4.根据权利要求3所述的一种基于自适应融合多注意力网络的问题和答案匹配方法,其特征在于,在步骤S2中,第k个自注意力网络通过以下公式计算得到问题向量且每个不同的问题向量都提取了问题不同方面的信息:
其中,为第k个自注意力网络从原始的问题向量hq(t)中提取得到的注意力向量,和均为第k个自注意网络的参数,为词向量的权重。
5.根据权利要求1所述的一种基于自适应融合多注意力网络的问题和答案匹配方法,其特征在于,步骤S3包括以下步骤:
S3.1:获取答案中每个词向量的隐藏层向量序列Ha={ha(1),...,ha(l)};
S3.2:对于第k个问题向量通过将同一个序列注意力模型应用到Ha上,生成对应的第k个答案词向量的权重
S3.3:计算Ha的加权和作为第k个答案向量
6.根据权利要求5所述的一种基于自适应融合多注意力网络的问题和答案匹配方法,其特征在于,在序列注意力模型中,使用LSTM计算每个答案词向量的权重。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110287825.6/1.html,转载请声明来源钻瓜专利网。