[发明专利]一种基于统计和向量空间融合的文本匹配方法及系统

权利要求书

1.一种基于统计和向量空间融合的文本匹配方法，其特征在于，包括：

针对知识库文本数据中每行数据分别基于统计和基于向量进行文本数据结构化，获得词频向量和句向量；

根据用户输入的场景描述，获取对应的词频向量和句向量；

根据所述知识库文本数据中每行数据的词频向量和句向量及用户输入的所述场景描述对应的词频向量和句向量，分别计算基于统计和基于向量的向量余弦相似度得分；

对基于统计和基于向量的向量余弦相似度得分进行加权融合，输出最终得分；

根据得分情况，获取文本匹配结果。

2.根据权利要求1所述的文本匹配方法，其特征在于：先逐行获取所述知识库文本数据的分词和关键词；

针对每行所述知识库文本数据的所述分词和关键词分别基于统计和向量进行文本数据结构化，获取到对应的词频向量和句向量。

3.根据权利要求2所述的文本匹配方法，其特征在于：获取所述知识库文本数据的分词和关键词时，去除所述分词和关键词中的停用词。

4.根据权利要求2所述的文本匹配方法，其特征在于：所述逐行获取所述知识库文本数据的分词，包括：

调用词典，采用jieba分词对知识库文本数据逐行进行分词处理。

5.根据权利要求2所述的文本匹配方法，其特征在于：所述逐行获取所述知识库文本数据的关键词，包括：

调用停用词库，采用tf-idf进行关键词提取。

6.一种实现如权利要求1～5任一项所述的文本匹配方法的系统，其特征在于，包括：数据处理模块、文本匹配模块和结果输出模块；

所述数据处理模块，用于：

针对知识库文本数据中每行数据分别基于统计和基于向量进行文本数据结构化，获得词频向量和句向量；

所述文本匹配模块，用于：

根据用户输入的场景描述，获取对应的词频向量和句向量；

根据所述知识库文本数据中每行数据的词频向量和句向量及用户输入的所述场景描述对应的词频向量和句向量，分别计算基于统计和基于向量的向量余弦相似度得分；

对基于统计和基于向量的向量余弦相似度得分进行加权融合，输出最终得分；

所述结果输出模块，用于：

根据得分情况，获取文本匹配结果。

7.根据权利要求6所述的文本匹配系统，其特征在于：所述数据处理模块还包括：数据处理前，根据知识库文本数据的类型名称和类型描述文本，若所述类型描述不存在，则只保留类型名称数据。

8.根据权利要求6所述的文本匹配系统，其特征在于：

所述文本匹配模块对所述最终得分进行排序；

所述结果输出模块，根据文本匹配需要，输出最终得分topK的所述知识库文本数据。

9.根据权利要求6所述的文本匹配系统，其特征在于：所述分别计算基于统计和基于向量的向量余弦相似度得分；包括：

基于bm25算法计算知识库文本数据中每行数据的词频向量与用户输入的所述场景描述对应的词频向量的余弦相似度得分；

基于word2vec算法计算知识库文本数据中每行数据的句与用户输入的所述场景描述对应的句向量的余弦相似度得分。