[发明专利]用于海量文本匹配的方法

权利要求书

1.一种用于海量文本匹配的方法，所述用于海量文本匹配的方法包括下列步骤：

（A1）分别将数据库文档和外部文档分组，并确定数据库文档的分组数s；

（A2）分别计算数据库文档的总数目n和外部文档的总数目m，并用k个实矩阵M表示所述数据库文档的向量空间，以及用k2个稀疏矩阵P表示所述外部文档的向量空间；

（A3）判断是否存在未针对其进行相应的计算操作的稀疏矩阵P，并且如果不存在未针对其进行相应的计算操作的稀疏矩阵P，则终止匹配过程，而如果存在未针对其进行相应的计算操作的稀疏矩阵P，则进入步骤（A4）；

（A4）取下一个未针对其进行相应的计算操作的稀疏矩阵P作为当前目标稀疏矩阵P，并针对所述当前目标稀疏矩阵P执行相应的计算操作以获得相似度矩阵S，以及随后基于所述相似度矩阵S确定与所述当前目标稀疏矩阵P所代表的各个外部文档最佳匹配的数据库文档并返回步骤（A3）。

2.根据权利要求1所述的用于海量文本匹配的方法，其特征在于，所述外部文档的分组数t是所述数据库文档的分组数s的倍数。

3.根据权利要求2所述的用于海量文本匹配的方法，其特征在于，所述步骤（A2）进一步包括：通过分词和/或统计词频得到数据库文档的词包W及其词条个数w；用k个实矩阵M表示所述数据库文档的向量空间，其中k=n/s，并且每个实矩阵M由s个文档向量组成，其中，每个实矩阵M具有s行w列，并且每一行表示一个文档向量；将每个实矩阵M编号并存储。

4.根据权利要求3所述的用于海量文本匹配的方法，其特征在于，所述步骤（A2）进一步包括：对外部文档进行分词操作后剔除不在所述数据库文档的词包W之内的词条；将剔除不在所述数据库文档的词包W之内的词条后词条数为0的外部文档丢弃；用k2个稀疏矩阵P表示所述外部文档的向量空间，其中k2=m/t，并且每个稀疏矩阵P由t个文档向量组成；将每个稀疏矩阵P编号并存储。

5.根据权利要求4所述的用于海量文本匹配的方法，其特征在于，所述稀疏矩阵P包括下列项：行数、列数、行号向量、列号向量、非零值向量。

6.根据权利要求5所述的用于海量文本匹配的方法，其特征在于，所述步骤（A4）进一步包括：将所述当前目标稀疏矩阵P与k个实矩阵M的匹配任务分配到z个工作站中，其中z是k的整除数。

7.根据权利要求6所述的用于海量文本匹配的方法，其特征在于，所述步骤（A4）进一步包括：所述z个工作站中的每个计算所述当前目标稀疏矩阵P与所分配的实矩阵M之间的相似度以得到相应的相似度矩阵S，其中，所述相似度矩阵S具有t行s列，并且其第i行是所述当前目标稀疏矩阵P的第i个文档与实矩阵M的s个文档的相似度。

8.根据权利要求7所述的用于海量文本匹配的方法，其特征在于，以下式计算所述相似度矩阵S：S=SC/PM，并且其中，以如下方式确定所述PM：设<|M|>=<|M1|,|M2|,……|Ms|>，其中<|M|>是由s个数据库文档向量长度组成的向量，则所述PM是t行s列的矩阵，其第i行的元素是所述当前目标稀疏矩阵P的第i个文档向量的长度与<|Mi|>的乘积，并且以如下方式确定所述SC：

其中，所述SC是t行s列的矩阵，其第i行的元素是所述当前目标稀疏矩阵P的第i个文档向量与实矩阵M的s个文档向量的点乘结果值。

9.根据权利要求8所述的用于海量文本匹配的方法，其特征在于，以如下迭代方法求解所述SC：（1）将SC初始化为t行s列的零矩阵；（2）遍历所述当前目标稀疏矩阵P的非零值向量，从而迭代更新所述SC，即设所述当前目标稀疏矩阵P在值v时对应的行号为i、列号为j，则以如下方式更新SC的第i行：将v乘以实矩阵M的第j列的值并加上SC的第i行的原值作为SC第i行的新值。

10.根据权利要求9所述的用于海量文本匹配的方法，其特征在于，所述步骤（A4）进一步包括：收集所有工作站输出的相似度矩阵S，并对所收集的相似度矩阵S按行求最大值，以确定与所述当前目标稀疏矩阵P所代表的各个外部文档最佳匹配的数据库文档。