[发明专利]一种使用两阶段检索的文本多跳推理问答方法在审
| 申请号: | 202211104039.9 | 申请日: | 2022-09-09 |
| 公开(公告)号: | CN116383347A | 公开(公告)日: | 2023-07-04 |
| 发明(设计)人: | 冯建周;王琴;徐甘霖 | 申请(专利权)人: | 燕山大学 |
| 主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/36;G06F16/33;G06N5/022;G06F40/211;G06F40/253;G06F40/284;G06F40/247;G06N5/046;G06N3/0455;G06N3/08 |
| 代理公司: | 石家庄众志华清知识产权事务所(特殊普通合伙) 13123 | 代理人: | 张建 |
| 地址: | 066004 河北*** | 国省代码: | 河北;13 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 使用 阶段 检索 文本 推理 问答 方法 | ||
1.一种使用两阶段检索的文本多跳推理问答方法,其特征在于,包括以下步骤:
S1、将问题q和每个答案选项a={a1,a2,...,aM}进行拼接,得到假设集合h={h1,h2,...,hM},其中,M是问题的选项数,将原形式下使用标志位将问题q和答案选项a进行简单拼接的多项选择问答问题转换为文本蕴含问题;
S2、将外部文本知识库中的领域理论知识划分为核心知识集合E和背景知识集合G,其中,核心知识e(e∈E)表示问题考察的核心思想,背景知识g(g∈G)表示用于解决问题的辅助知识;
S3、在第一阶段上下文感知知识检索器模块中,将正确答案对应的假设hi称为正确假设并将支撑正确假设成立的核心知识e称为正确核心知识分别将掩盖部分实体概念的所有正确假设和其对应的正确核心知识输入到上下文感知知识检索器模块中的双编码器模型中;结合对比学习的思想,将同批训练中的其他问题的正确假设作为负相关知识训练后得到正确假设与正确核心知识之间的映射关系;
S4、将所有核心知识w输入到双编码模型中的知识编码器中,输出核心知识w的语义表征向量;再将假设hi输入到双编码器模型中的问题假设编码器中,得到假设hi的语义表征向量,通过与所有核心知识e的表征向量进行余弦相似度检索,得到支撑假设hi的候选核心知识池和问题q对应的候选核心知识池同时得到候选核心知识池中核心知识与假设hi之间的上下文语义匹配得分;
S5、在第二阶段实体感知知识验证模块中,构建背景知识集合G中实体之间的可达性矩阵,通过Kuhn-Munkres算法对假设hi中的实体和候选知识池中核心知识的实体之间进行可达性计算,得到核心知识ej和假设hi之间的实体匹配得分;
S6、将上下文感知知识检索器模块和实体感知知识验证模块得到的分数进行加权求和;对于含M个选项的问题q中的第i个假设hi,将得分最高的候选核心知识作为假设hi的预测核心知识,将得分(置信度)最高的假设预测为问题的最终答案,并对双编码器模型进行微调,通过优化器最小化损失值。
2.根据权利要求1所述的一种使用两阶段检索的文本多跳推理问答方法,其特征在于,所述步骤S1中将多项选择问答问题转换为文本蕴含问题包括:将核心知识视为前提、问题和答案选项的拼接视为假设;对于疑问句式问题,采用词法、语法和依存句法分析方法,形成语义通顺、语法正确的问题假设;对于填空式问题,识别填空位并用答案选项进行填充。
3.根据权利要求1所述的一种使用两阶段检索的文本多跳推理问答方法,其特征在于:所述步骤S2中,所述核心知识为理论性强、表述抽象的文本;所述背景知识包括实体属性、实体用途和实体同义词在内的简短描述文本。
4.根据权利要求1所述的一种使用两阶段检索的文本多跳推理问答方法,其特征在于:所述步骤S3包含以下步骤:
S3.1、使用SpaCy文本处理工具,抽取出背景知识G中的所有名词及名词短语作为实体;对于工具抽取时的噪声,在分析实体出现频率和实体含义后进行半自动降噪,构成实体词表;
S3.2、根据实体词表选取出正确假设中的实体,并随机掩盖一定比例的实体,将正确假设输入到双编码模型中的问题假设编码器中,同时将其对应的正确核心知识输入到双编码器模型中的知识编码器中,通过余弦相似度计算两者的距离;
S3.3、将同批训练中的其他问题的正确假设对应的核心知识作为负相关知识将损失函数优化为正确核心知识的负对数似然值,损失函数如下:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于燕山大学,未经燕山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211104039.9/1.html,转载请声明来源钻瓜专利网。





