[发明专利]一种基于提示的掩精确匹配密集检索方法

说明书

本发明公开了一种基于提示的掩精确匹配密集检索方法，将提示学习引入信息检索任务，将信息检索任务的形式和预训练语言模型的任务形式统一起来，提出基于提示的掩精确匹配密集检索模型ProbMEM以进行掩精确匹配密集检索，可解决第三范式中使用的预训练语言模型由于预训练任务和下游任务之间的隔阂，任务效果存在性能瓶颈的问题。

技术领域

本发明属于信息检索技术领域，具体涉及一种基于提示的掩精确匹配密集检索方法。

背景技术

BM25算法为传统的基于词的精确匹配的信息检索算法，具体的：给出一条查询，在文档库中搜索与该查询相关的文档时，BM25算法只考虑查询语句中的每个词在文档中是否出现过，基于在文档中出现过的词，对查询和文档的相关性进行建模。这种做法比较简洁且高效，但是缺点也很明显，语言中存在一词多义和一义多词的现象，只考虑词的精确匹配，不考虑语义，无法应对如搜索苹果，出现苹果手机的问题。

为解决上述问题，将预训练语言模型引入传统检索算法的密集检索方法。深度学习兴起，预训练语言模型的出现，将原来的特征工程和结构工程转变为了第三范式：预训练+微调的范式。在这种范式下，模型先在大规模语料库上预训练，然后在不同的下游目标任务上做微调，就可以得到不错的任务效果。将该技术引入信息检索检索领域，由语言模型对词进行编码，生成对应的词向量。预训练语言模型使用自注意力机制可以充分考虑语义信息，每个生成的词向量中，都包含了一定的该词的上下文信息。因此，将该方法与传统的检索算法结合起来，就可以生成带有语义信息的词向量，再基于词向量对查询和文档的相关性建模，可以很好的缓解一词多义和一义多词问题。但是这种方法也有缺陷，因为预训练是在通用的大规模语料库上进行的，有着其独自的任务目标，而下游任务是多种多样的，和预训练任务的训练目标也不同，这两者之间存在隔阂，在微调的时候，是预训练任务适配下游任务，导致模型性能存在瓶颈，当上下游任务的训练目标差距较大时，并不能取得尽如人意的效果。

自然语言处理的新兴范式，第四范式，又名基于提示的学习。第四范式和上述的第三范式不同，由原来的预训练+微调变成了预训练+提示+预测，在这种范式之下，不再是预训练任务适配下游任务，相反，通过在原任务的输入文本上额外加入提示(prompt)词，并对需要预测的目标做遮掩，重构下游任务的学习形式，使其与预训练任务的形式一致，让下游任务适配预训练任务。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于提示的掩精确匹配密集检索方法，将第四范式的思想引入信息检索领域，将信息检索任务的精度再度提升，解决第三范式中使用的预训练语言模型由于预训练任务和下游任务之间的隔阂，任务效果存在性能瓶颈的问题。

为实现上述技术目的，本发明采取的技术方案为：

一种基于提示的掩精确匹配密集检索方法，采用基于预训练语言模型Encoder的密集检索模型ProbMEM进行掩精确匹配密集检索，所述Encoder预先对每个输入的查询语句和文档语句前面添加CLS向量位；

密集检索模型ProbMEM进行掩精确匹配密集检索的具体过程如下：

步骤1、提示编码器生成指定长度的提示向量，并将该提示向量作为前缀和查询语句的词向量拼接在一起；

步骤2、查找文档中与查询语句中的词重复的词，将文档中重复词所在的位置使用MASK代替，记为MASK文档；

同时复制一份未经过MASK处理的文档，把该文档中的CLS位置替换为MASK，记为CLS文档；

步骤3、将拼接提示向量的查询语句，和MASK文档、CLS文档，同时经过预训练语言模型Encoder编码，得到编码后的词向量序列，然后对编码后的词向量做降维处理；