[发明专利]一种基于统计和向量空间融合的文本匹配方法及系统

说明书

本发明提供一种基于统计和向量空间融合的文本匹配方法及系统，涉及文本匹配技术领域，包括：针对知识库文本数据中每行数据分别基于统计和基于向量进行文本数据结构化，获得词频向量和句向量；根据用户输入的场景描述，获取对应的词频向量和句向量；根据知识库文本数据中每行数据的词频向量和句向量及用户输入的场景描述对应的词频向量和句向量，分别计算基于统计和基于向量的向量余弦相似度得分；对基于统计和基于向量的向量余弦相似度得分进行加权融合，输出最终得分；根据得分情况，获取文本匹配结果。本发明基于统计输出词频矩阵进行统计召回，基于word2vec输出词向量空间召回，对两个结果进行融合，输出最终的匹配结果。

技术领域

本发明涉及文本匹配技术领域，尤其是涉及一种基于统计和向量空间融合的文本匹配方法及系统。

背景技术

在电信智能营销过程中，用户通过输入业务描述，对产品、模型、画像、渠道等自动生成准确的推荐方案，根据方案来实施推荐业务。这一过程主要包含两个过程，其一是对源数据的认识，了解数据情况，其二是文本处理，即将用户输入的业务描述，能够在源文本中匹配到相关的文本。文本匹配是一种重要的自然语言技术，许多任务都可以抽象为文本匹配的问题，如搜索引擎，根据用户Query，在多个源文本中匹配到相似度高的文本。

现有文本匹配方法主要分为四个类型：单语义模型、多语义模型、匹配矩阵模型和句子间模型。单语义模型将句子编码成特征向量，然后计算两个句子间的匹配度，缺乏考虑句子中类似短语的局部结构；多语义模型考虑了句子细粒度，但计算度复杂；匹配矩阵模型更多的考虑句子间单词的匹配，再通过深度网络提取特征；句子间模型采用了attention机制，挖掘句子间单词的联系，计算步骤较多，效率低下。

结合电信领域源数据情况，从上述的文本匹配方法来看是有很大的局限性，不适用于直接应用于电信源数据的文本匹配。基于深度学习的模型复杂，调参困难，部署麻烦；基于单语义的方法未考虑句子间单词的关系，多语义模型则计算复杂且针对短词语文本效果一般，不适合用于业务的需求。

发明内容

针对上述问题，本发明提供了一种基于统计和向量空间融合的文本匹配方法及系统，对源数据分别进行分词和关键词处理过程，基于统计输出词频矩阵进行统计召回，基于word2vec输出词向量空间召回，对两个结果进行融合，输出最终的匹配结果，提高文本匹配的准确率及时间效率。

为实现上述目的，本发明公开了一种基于统计和向量空间融合的文本匹配方法，包括：

针对知识库文本数据中每行数据分别基于统计和基于向量进行文本数据结构化，获得词频向量和句向量；

根据用户输入的场景描述，获取对应的词频向量和句向量；

根据所述知识库文本数据中每行数据的词频向量和句向量及用户输入的所述场景描述对应的词频向量和句向量，分别计算基于统计和基于向量的向量余弦相似度得分；

对基于统计和基于向量的向量余弦相似度得分进行加权融合，输出最终得分；

根据得分情况，获取文本匹配结果。

作为本发明的进一步改进，先逐行获取所述知识库文本数据的分词和关键词；

针对每行所述知识库文本数据的所述分词和关键词分别基于统计和向量进行文本数据结构化，获取到对应的词频向量和句向量。

作为本发明的进一步改进，获取所述知识库文本数据的分词和关键词时，去除所述分词和关键词中的停用词。

作为本发明的进一步改进，所述逐行获取所述知识库文本数据的分词，包括：

调用词典，采用jieba分词对知识库文本数据逐行进行分词处理。

作为本发明的进一步改进，所述逐行获取所述知识库文本数据的关键词，包括：