[发明专利]短文本批量匹配方法及装置

权利要求书

1.一种短文本批量匹配方法，其特征在于，包括：

根据至少一个关键项对待匹配的全量短文本信息进行分类和排序；

根据所述分类切分所述全量短文本信息，将切分后数据集通过Spark分布式容器RDD分布到多个不同的处理设备中；

在各个所述处理设备中并发计算所述切分后数据集中短文本信息的相似度，其中，对于每条短文本信息，只根据所述排序计算与其相邻的预设数量条短文本信息的相似度。

2.根据权利要求1所述的方法，其特征在于，所述至少一个关键项包括用户属性项、地名项、名称项、缩写项和专用表述项中的至少一种；所述进行分类和排序包括：

采用词典搜索匹配的方式确定各条短文本信息中关键项的命中情况；

根据所述命中情况对各条短文本信息进行分类和排序。

3.根据权利要求1所述的方法，其特征在于，所述根据所述分类切分所述全量短文本信息包括：

根据所述处理设备的规模或数据相关性来选取适用的分类结果。

4.根据权利要求1所述的方法，其特征在于，所述计算包括：

采用Jaccard相似度算法和文本编辑距离算法进行综合匹配。

5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

对多个所述关键项分别设置不同的权重后再进行所述分类和排序。

6.一种短文本批量匹配装置，其特征在于，包括：

预处理模块，用于根据至少一个关键项对待匹配的全量短文本信息进行分类和排序；

数据集切分模块，用于根据所述分类切分所述全量短文本信息，将切分后数据集通过Spark分布式容器RDD分布到多个不同的处理设备中；

并发计算模块，用于在各个所述处理设备中并发计算所述切分后数据集中短文本信息的相似度，其中，对于每条短文本信息，只根据所述排序计算与其相邻的预设数量条短文本信息的相似度。

7.根据权利要求6所述的装置，其特征在于，所述至少一个关键项包括用户属性项、地名项、名称项、缩写项和专用表述项中的至少一种；所述预处理模块包括：

词典匹配模块，用于采用词典搜索匹配的方式确定各条短文本信息中关键项的命中情况；

统计处理模块，用于根据所述命中情况对各条短文本信息进行分类和排序。

8.根据权利要求6所述的装置，其特征在于，所述数据集切分模块包括：

分类选取模块，用于根据所述处理设备的规模或数据相关性来选取适用的分类结果。

9.根据权利要求6所述的装置，其特征在于，所述并发计算模块包括：

综合匹配模块，用于采用Jaccard相似度算法和文本编辑距离算法进行综合匹配。

10.根据权利要求6或7所述的装置，其特征在于，所述预处理模块还包括：

权重设置模块，用于对多个所述关键项分别设置不同的权重后再进行所述分类和排序。