[发明专利]用于海量文本匹配的方法

说明书

本发明提出了用于海量文本匹配的方法。其中，所述方法包括：分别将数据库文档和外部文档分组，并确定数据库文档的分组数s；分别计算数据库文档的总数目n和外部文档的总数目m，并用k个实矩阵M表示所述数据库文档的向量空间，以及用k2个稀疏矩阵P表示所述外部文档的向量空间；取未针对其进行相应的计算操作的稀疏矩阵P作为当前目标稀疏矩阵P，并针对所述当前目标稀疏矩阵P执行相应的计算操作以获得相似度矩阵S，以及随后基于所述相似度矩阵S确定与所述当前目标稀疏矩阵P所代表的各个外部文档最佳匹配的数据库文档。本发明所公开的用于海量文本匹配的方法节省存储空间、时间消耗较小并且能够进行并行处理。

技术领域

本发明涉及文本匹配的方法，更具体地，涉及用于海量文本匹配的方法。

背景技术

目前，随着信息数据处理需求的日益增长以及不同领域的业务种类的日益丰富，将外部文档与海量的数据库文档进行匹配变得越来越重要。

在现有的用于文档匹配的方法中，通常采用如下方式：建立外部文档和数据库文档的向量空间模型；逐个地计算每个外部文档对应的向量与数据库文档对应的向量的相似度；选取针对特定的一个外部文档具有最大相似度的数据库文档作为与该外部文档最佳匹配的数据库文档，以此循环直至得到与每个外部文档最佳匹配的数据库文档。

然而，现有的用于文档匹配的方法存在如下问题：（1）由于通常向量化后的外部文档是稀疏的，故采用向量的方式存储外部文档会占用较大的存储空间；（2）由于需要逐步地计算每两个向量之间的点积，故计算点积的次数非常多，从而导致计算过程所花费的时间消耗较大；（3）难以进行并行计算。

因此，存在如下需求：提供节省存储空间、时间消耗较小并且能够进行并行处理的用于海量文本匹配的方法。

发明内容

为了解决上述现有技术方案中所存在的问题，本发明提出了节省存储空间、时间消耗较小并且能够进行并行处理的用于海量文本匹配的方法。

本发明的目的是通过以下技术方案实现的：

一种用于海量文本匹配的方法，所述用于海量文本匹配的方法包括下列步骤：

（A1）分别将数据库文档和外部文档分组，并确定数据库文档的分组数s；

（A2）分别计算数据库文档的总数目n和外部文档的总数目m，并用k个实矩阵M表示所述数据库文档的向量空间，以及用k2个稀疏矩阵P表示所述外部文档的向量空间；

（A3）判断是否存在未针对其进行相应的计算操作的稀疏矩阵P，并且如果不存在未针对其进行匹配操作的稀疏矩阵P，则终止匹配过程，而如果存在未针对其进行匹配操作的稀疏矩阵P，则进入步骤（A4）；

（A4）取下一个未针对其进行匹配操作的稀疏矩阵P作为当前目标稀疏矩阵P，并针对所述当前目标稀疏矩阵P执行相应的计算操作以获得相似度矩阵S，以及随后基于所述相似度矩阵S确定与所述当前目标稀疏矩阵P所代表的各个外部文档最佳匹配的数据库文档并返回步骤（A3）。

在上面所公开的方案中，优选地，所述外部文档的分组数t是所述数据库文档的分组数s的倍数。

在上面所公开的方案中，优选地，所述步骤（A2）进一步包括：通过分词和/或统计词频得到数据库文档的词包W及其词条个数w；用k个实矩阵M表示所述数据库文档的向量空间，其中k=n/s，并且每个实矩阵M由s个文档向量组成，其中，每个实矩阵M具有s行w列，并且每一行表示一个文档向量；将每个实矩阵M编号并存储。

在上面所公开的方案中，优选地，所述步骤（A2）进一步包括：对外部文档进行分词操作后剔除不在所述数据库文档的词包W之内的词条；将剔除不在所述数据库文档的词包W之内的词条后词条数为0的外部文档丢弃；用k2个稀疏矩阵P表示所述外部文档的向量空间，其中k2=m/t，并且每个稀疏矩阵P由t个文档向量组成；将每个稀疏矩阵P编号并存储。