[发明专利]一种融入先验知识的短文本相似度计算方法

说明书

本发明公开了一种融入先验知识的短文本相似度计算方法，包括如下步骤：S10、构建关键词字典；S20、对训练数据增加关键词标注；S30、对增加关键词标注的训练数据通过BERT模型训练，并保存最优结果；S40、对用户输入的query进行文本纠错；S50、对纠错后query和待匹配的question进行关键词提取，以及依存句法分析；S60、对步骤S50中的分析结果构建模型输入，并输入至训练好的BERT模型，以获得文本相似度。本发明对训练数据增加关键词和依存句法分析标注，给模型增加更多的先验知识，加快收敛速度。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种融入先验知识的短文本相似度计算方法。

背景技术

短文本相似度计算是自然语言处理(NLP)及至机器学习领域的难点和热点，它是NLP中一个重要任务，既可以当成一个单独的任务，又可以作为其它NLP应用的基础。其可以定义为：对于给定的短文本集合，在研究短文本结构的基础上，提取多种短文本特征(比如词频、语法、语义特征)并量化，从而用数据的反映短文本之间的相同点及不同点，相同点越多，相似程度越高，反之相似程度越低。

问答系统作为自然语言处理领域的经典问题，随着智能客服、人机对话系统等应用场景的发展，得到越来越多人的重视。而短文本相似度计算作为问答系统中的关键技术，因为其包含信息少、自然语言表达多样、对关键信息敏感等特点，所以难度很高，一直都是工业界、学术界的研究热点和难点。为了解决这个问题，研究人员主要从数据维度以及模型维度两个角度着手。数据决定上限，正样本一般依靠人工标注，而负样本人们则使用随机负采样、WMD+多人标注、实体词替换等方法生成，但是这些方法不是负样本混淆度不高，就是人工成本高，或者噪音过多，对模型扰动大。这些方法各有各的缺点，当前没有一种最优策略来得到高质量的数据。模型维度是更为大家所熟知的改进角度，从模型结构上看可以分为基于表示和基于交互两大类。基于表示的模型是先对query-question分别进行底层表示，然后在高层进行交互及分类。而基于交互的模型则是让query-question在底层就进行交互，可以更好的把握语义焦点。

如公开号为CN112329430A的发明公开了一种模型训练方法、文本相似度确定方法及装置，及公开号为CN111737438A的发明公开了一种基于文本相似度的数据处理方法、装置以及电子设备，均针对文本相似度的难点进行了一些探索和优化，但是仍然没有解决难以捕捉关键词信息和OOV(Out Of Vocabulary)难以处理等问题。因此，迫切需要一种短文本相似度计算方法，以在一定程度上解决这些问题。

发明内容

针对上述现有技术的不足，本发明所要解决的技术问题是：如何提供一种融入先验知识的短文本相似度计算方法，以有效提高短文本相似度计算精度。

为了解决上述技术问题，本发明采用了如下的技术方案：

一种融入先验知识的短文本相似度计算方法，包括如下步骤：

S10、构建关键词字典；

S20、对训练数据增加关键词标注；

S30、对增加关键词标注的训练数据通过BERT模型训练，并保存最优结果；

S40、对用户输入的query进行文本纠错；

S50、对纠错后query和待匹配的question进行关键词提取，以及依存句法分析；

S60、对步骤S50中的分析结果构建模型输入，并输入至训练好的BERT模型，以获得文本相似度。

进一步地，在步骤S10中，构建关键词字典的步骤包括：

S11、通过词聚类方法，在开放域和/或垂直域中提取候选关键词，并通过打分公式选取排名靠前的候选关键词，打分公式为：