[发明专利]一种基于记忆网络语义融合的长文档检索方法

权利要求书

1.一种基于记忆网络语义融合的长文档检索方法，其特征在于，包括以下步骤：

步骤1：筛选出可能与用户查询相关的文档；

步骤2：对候选文档进行分段编码，将得到的每一个分段作为记忆网络的一个单元；

步骤3：使用预训练语言模型对用户查询进行编码，得到用户查询对应的语义向量表示；

步骤4：基于记忆网络的语义融合阶段，筛选不同存储单元与用户查询相关的部分；

步骤5：更新用户查询向量；

步骤6：重复步骤4至步骤5，进行迭代更新，获得准确的用户查询信息；

步骤7：利用多层感知机模型，分别对候选文档中的正、负样本打分，并通过损失函数对模型参数进行训练；

步骤8：完成模型训练后，对给定用户查询，不再区分正、负样本，对候选文档集合的每个文档进行预测评分，并按分数从高至低进行排序，返回分数排序最高的前G个文档，作为最终的检索结果。

2.如权利要求1所述的一种基于记忆网络语义融合的长文档检索方法，其特征在于，步骤1包括以下步骤：

步骤1.1：对于给定的用户查询集合，过滤查询中的特殊字符，并对候选文档集合进行分段；

步骤1.2：对给定的每条用户查询，从所有候选文档中，按照相似度从大到小的顺序进行排名，并筛选出排名最大的前F个文档，作为下一阶段的候选文档集合；

步骤1.3：对给定的每条用户查询，在候选文档集合中挑选出对应的相关文档和不相关文档，分别作为正、负样本。

3.如权利要求1所述的一种基于记忆网络语义融合的长文档检索方法，其特征在于，步骤2包括以下步骤：

步骤2.1：从文档开始部分，对文档选取固定长度的文本，其中，选取文本按长度平均分段，每段之间存在相同长度的重叠部分；

步骤2.2：使用预训练语言模型对各个分段进行编码，得到各个分段包含上下文语义的向量表示，每个分段作为记忆网络中记忆模块的一个存储单元。

4.如权利要求1所述的一种基于记忆网络语义融合的长文档检索方法，其特征在于，步骤3中，预训练语言模型采用BERT模型；

其中，BERT包括嵌入层和多层堆叠的transformer层，每个transformer层包括多头注意力部分和前向传播网络部分；

预训练语言模型的编码指BERT的最后两个transformer层输出的每个字符的向量表示加权平均，两层相加即得到最终的输入文本的向量表示。

5.如权利要求1所述的一种基于记忆网络语义融合的长文档检索方法，其特征在于，步骤4采用以下方法：

利用注意力机制，计算用户查询与不同段落间的相似度，并以此为权重，将多个段落的语义向量表示融合在一起，得到该篇文档的语义向量表示：

α_i＝sim(q^k,p_i) (1)

其中，sim(q,p_i)为相似度函数，在第k次迭代中，衡量用户查询q^k与文本第i个段落p_i之间的相似度，其结果为α_i；m为存储单元数目，O^k为第k次迭代得到的文档的语义向量表示。

6.如权利要求5所述的一种基于记忆网络语义融合的长文档检索方法，其特征在于，相似度函数sim(q,p)具体为：sim(q,p)＝v^Ttanh(W[q；p])，其中,v、W均为训练参数，tanh为激活函数，T为转置，q、p分别为用户查询向量与候选段落表示向量。