[发明专利]基于候选答案集重排序的自动问答方法、装置和存储介质

说明书

本发明提供了一种基于候选答案集重排序的自动问答方法、装置和存储介质，本发明通过端到端方式的集成候选答案抽取网络与答案重排网络的构成自动问答算法架构，无论是训练阶段还是测试阶段都是以候选答案抽取网络的输出作为答案重排网络的输入，因此可以有效避免直接级联两个独立训练的候选答案抽取网络与答案重排网络带来的训练与测试时的数据分布不一致问题。此外，本发明所提出的端到端算法架构通过共享候选答案抽取网络与答案重排网络的网络层，可以有效解决重复编码问题。

技术领域

本发明属于机器自动问答技术领域，具体是涉及到一种基于候选答案集重排序的自动问答方法、装置和存储介质。

背景技术

在机器自动问答处理领域，早期一般仅根据获得的答案起始位置索引的概率分布，来选取联合概率最大的答案首尾位置索引来抽取预测答案。但是，联合概率高只能说明答案质量高的可能性大，可以作为评估答案质量的一个因素，如果将其作为确定预测答案的唯一标准，会导致预测答案的准确度偏低，即预测的答案与标准答案相比，可能会存在答案错位、部分缺失、冗余的情况。因此，在现有的自动问答方法流程中，为提高预测答案的准确性，在获得候选答案集后，还需要对候选答案集进行重排序，然后再根据重排序的结果选择最终的预测答案。

在答案重排序研究的早期，研究者们基于词汇语义和话语来构建答案重排序模型，并利用话语信息来补充分布式词汇语义信息。后面，随着基于社区的问答网站的流行，如Yahoo! Answers，Quora等网站积累了大量珍贵的训练数据，研究者们开始不从词汇语义的角度继续研究答案排序模型，而是采用神经网络的方法，用简单的前向网络来进行答案排序并预测，预测效果相比早期的有所改善。

然而，现有的答案重排序方法通常没有考虑背景知识，都仅停留在给定候选答案集与问题，通过分析计算问题与答案的相关性，来为问题匹配最佳的答案，这不利于更进一步的提高答案预测的精准度。此外，现有的答案重排模型与获得候选答案集的答案抽取模块大多先独立训练，然后在测试阶段将两个模型直接级联来使用，这样会导致测试与训练时数据分布不一致，以及重复编码的问题。

发明内容

有鉴于此，本发明提供了一种基于候选答案集重排序的自动问答方法、装置和存储介质，以解决现有技术存在的预测精度不能进一步提高、测试与训练时数据分布不一致，以及重复编码的问题。

一种基于候选答案集重排序的自动问答方法，用于从原文中预测问题的答案，包括：

构建候选答案抽取网络，用于根据问题输入序列和原文输入序列输出由多个候选答案表示构成的候选答案表示集和获得各个所述候选答案表示对应的候选答案的第一评分，在所述候选答案表示集中，各个所述候选答案表示按照各个所述候选答案表示对应的候选答案成为预测答案的概率大小进行排序，成为所述预测答案越高的所述候选答案对应的第一评分越高，

构建答案重排网络，并使得所述候选答案表示集被输入至所述答案重排网络，以通过所述答案重排网络提取各个所述候选答案表示的语义特征，并根据提取的所述语义特征对各个所述候选答案表示对应的候选答案进行重新评分，以获得第二评分，并根据所述第二评分对各个所述候选答案表示所对应的答案进行重新排序，所述第二评分越高所述候选答案表示对应的所述候选答案成为预测答案的概率越高，

将所述第一评分和第二评分的进行加权，以获得评分加权值，将所述评分加权值最高的所述候选答案表示对应的候选答案作为所述问题的预测答案。

优选地，所述候选答案抽取网络根据所述问题输入序列和原文输入序列获得带有问题的原文表示，并从所述带有问题的原文表示中截取获得多个待候选的答案表示，并获得多个所述待候选的答案表示对应所述候选答案成为所述预测答案的概率，并根据所述概率对各个所述候选答案表示进行排序以及根据所述概率获得所述第一评分，抽取所述概率靠前的K个所述待候选的答案表示构成所述候选答案表示集。