[发明专利]一种针对电力标准的长文本匹配优化的检索系统

说明书

本发明公开了一种针对电力标准的长文本匹配优化的检索系统，属于文本检索领域，电力标准中每个章节可能会出现超长文本，长度大于512的时候，当建立电力标准文档检索的时候，如何有效的对检索词和长文本有效匹配是一个核心的问题。传统的TF‑IDF和BM25算法考虑的是词维度上的匹配，并没有考虑深度语义的匹配度和相关性，会造成匹配相似性具有局限性，针对原始BERT中的单字级别的Mask操作无法学习到领域专业词汇上下文的问题，针对领域分词的结果进行连续词汇片段级别的Mask操作，从而强制模型学习词汇级别的上下文，对于中文检索任务的提升有一定的效果。

技术领域

本发明属于文本检索领域，具体是一种针对电力标准的长文本匹配优化的检索系统。

背景技术

电力标准是电力建设和电能生产、变换、传输、销售、使用中必须共同遵守的技术规定和技术管理依据，电力标准大多是强制性标准，电能生产、传输、销售均在瞬间一次完成，对整个社会生活、生产具有重大影响，所以要求电力系统具有高度的可靠性、稳定性和安全性，电力标准除少数指明“可参照执行”外，大多是强制性标准。

电力标准中每个章节可能会出现超长文本，长度大于512的时候，当建立电力标准文档检索的时候，如何有效的对检索词和长文本有效匹配是一个核心的问题，传统的TF-IDF和BM25算法考虑的是词维度上的匹配，并没有考虑深度语义的匹配度和相关性，会造成匹配相似性具有局限性。

发明内容

为了解决上述方案存在的问题，本发明提供了一种针对电力标准的长文本匹配优化的检索系统。

本发明的目的可以通过以下技术方案实现：一种针对电力标准的长文本匹配优化的检索系统，包括词汇提取终端、预训练BERT编码终端、词汇处理终端以及语义长文本排序终端；

预训练BERT编码终端采用两个不同的预训练BERT编码，对段落d和对应的检索词q进行编码，得到不同的向量，不同的向量表示为d-vecor，q-vecor，再对两者计算余弦相似度，作为两者的关联度得分；

词汇处理终端内部包括两种模型，分别为领域适应的BERT预训练语言模型和领域适应的无监督语义相似度模型。

优选的，词汇提取终端将电力标准文本中所有章节的文档和标题作为段落和对应的检索词进行提取，其中段落记为d，对应的检索词记为q。

优选的，预训练BERT编码终端内部包括扩充单元，每个文档对应的检索词通过扩充单元进行扩充。

优选的，领域适应的BERT预训练语言模型强制模型学习词汇级别的上下文，同时取消了NSP任务。

优选的，领域适应的无监督语义相似度模型对于检索词q和段落d，均采取无监督的方法分别训练两个BERT无监督语义相似度表示数据。

优选的，语义长文本排序终端用于构建深度语义长文本排序模型，使适合q-d匹配的BERT进行表示。

优选的，针对q-d匹配算法的正负样本的构造方法如下：

步骤一、针对具有完整语义关系的检索词，使用其他针对某个章节的q-d对，使用其他章节的d部分作为负例，本身作为正例；

步骤二、针对不具有完整语义关系的检索词，构建部分使用当前q的分词，以后的段落匹配结果中将以外的段落作为负例，原本段落匹配结果作为正例；

步骤三、训练中，在每个batch中，假设batch的大小为batch_size，将每个检索词对应的正例文档段落作为正样本，其他batch_size-1个样本中的文档段落作为负例，从而构造出batch_size²样本对进行训练；

优选的，分别针对性的构建查询词，查询段落的BERT语义相似度表示模型，分别称为q-BERT，d-BERT。