[发明专利]一种针对电力标准的长文本匹配优化的检索系统

权利要求书

1.一种针对电力标准的长文本匹配优化的检索系统，其特征在于，包括词汇提取终端、预训练BERT编码终端、词汇处理终端以及语义长文本排序终端；

预训练BERT编码终端采用两个不同的预训练BERT编码，对段落d和对应的检索词q进行编码，得到不同的向量，不同的向量表示为d-vecor，q-vecor，再对两者计算余弦相似度，作为两者的关联度得分；

词汇处理终端内部包括两种模型，分别为领域适应的BERT预训练语言模型和领域适应的无监督语义相似度模型。

2.根据权利要求1所述的一种针对电力标准的长文本匹配优化的检索系统，其特征在于，词汇提取终端将电力标准文本中所有章节的文档和标题作为段落和对应的检索词进行提取，其中段落记为d，对应的检索词记为q。

3.根据权利要求1所述的一种针对电力标准的长文本匹配优化的检索系统，其特征在于，预训练BERT编码终端内部包括扩充单元，每个文档对应的检索词通过扩充单元进行扩充。

4.根据权利要求1所述的一种针对电力标准的长文本匹配优化的检索系统，其特征在于，领域适应的BERT预训练语言模型强制模型学习词汇级别的上下文，同时取消NSP任务。

5.根据权利要求1所述的一种针对电力标准的长文本匹配优化的检索系统，其特征在于，领域适应的无监督语义相似度模型对于检索词q和段落d，均采取无监督的方法分别训练两个BERT无监督语义相似度表示数据。

6.根据权利要求1所述的一种针对电力标准的长文本匹配优化的检索系统，其特征在于，语义长文本排序终端用于构建深度语义长文本排序模型，使适合q-d匹配的BERT进行表示。

7.根据权利要求6所述的一种针对电力标准的长文本匹配优化的检索系统，其特征在于，针对q-d匹配算法的正负样本的构造方法如下：

步骤一、针对具有完整语义关系的检索词，使用其他针对某个章节的q-d对，使用其他章节的d部分作为负例，本身作为正例；

步骤二、针对不具有完整语义关系的检索词，构建部分使用当前q的分词，以后的段落匹配结果中将以外的段落作为负例，原本段落匹配结果作为正例；

步骤三、训练中，在每个batch中，假设batch的大小为batch_size，将每个检索词对应的正例文档段落作为正样本，其他batch_size-1个样本中的文档段落作为负例，从而构造出batch-size²样本对进行训练。

8.根据权利要求7所述的一种针对电力标准的长文本匹配优化的检索系统，其特征在于，分别针对性的构建查询词，查询段落的BERT语义相似度表示模型，分别称为q-BERT，d-BERT。

9.根据权利要求8所述的一种针对电力标准的长文本匹配优化的检索系统，其特征在于，所述q-BERT和d-BERT分别编码检索词和文档段落作为初始化表示，最终目标是学习编码器d-encoder和q-encoder，分别对检索词q和文档段落d编码成同一个向量空间，在同一向量空间中，相关性强的(q，d)对比相关性弱的(q，d)对的距离更近，对此设计如下损失函数：

该损失函数是正例的负对数似然函数，其中，qi为检索词，为相关性强的正例文档段落，等为负例。