[发明专利]一种采用多核集群的LDA模型的训练方法及系统

权利要求书

1.一种采用多核集群的LDA模型的训练方法，其特征在于，所述方法包括：

所述多核产生多个进程，每个进程均启动多个线程，用于分担处理多个训练文档；

每个进程中的多个线程共同处理该进程负责处理的文档，每个线程给出其负责处理的文档的主题-词矩阵，该进程依据其所有线程给出的主题-词矩阵得到该进程负责处理的文档的主题-词矩阵；

根据所有的进程提供的主题-词矩阵得到所述多个训练文档的主题-词矩阵，并用该主题-词矩阵更新所述的LDA模型。

2.如权利要求1所述的采用多核集群的LDA模型的训练方法，其特征在于：在所述多核产生多个进程之前还包括：对所述多个训练文档进行预处理，即对所述多个训练文档中的不同单词赋予唯一编号，在统计词频时，用所述唯一编号来代替相应的单词，并去除词频过低的词。

3.如权利要求1所述的采用多核集群的LDA模型的训练方法，其特征在于：所述每个线程给出其负责处理的文档的主题-词矩阵，具体为：每个线程根据其负责处理的文档中的单词的主题被认定的次数给出所述主题-词矩阵。

4.如权利要求1所述的采用多核集群的LDA模型的训练方法，其特征在于：每个进程的所有线程在更新LDA模型的主题-词矩阵之前或者之后进行同步。

5.如权利要求1-4之一所述的采用多核集群的LDA模型的训练方法，其特征在于：所述多核分布于多个网络节点，每个网络节点包括一个或多个核。

6.一种采用多核集群的LDA模型的训练系统，其特征在于，所述系统包括：

进程产生模块，用于所述多核产生多个进程，每个进程均启动多个线程，用于分担处理多个训练文档；

进程矩阵生成模块，用于每个进程中的多个线程共同处理该进程负责处理的文档，每个线程给出其负责处理的文档的主题-词矩阵，该进程依据其所有线程给出的主题-词矩阵得到该进程负责处理的文档的主题-词矩阵；

模型更新模块，用于根据所有的进程提供的主题-词矩阵得到所述多个训练文档的主题-词矩阵，并用该主题-词矩阵更新所述的LDA模型。

7.如权利要求6所述的采用多核集群的LDA模型的训练系统，其特征在于：所述系统还包括预处理模块，用于对所述多个训练文档进行预处理，即对所述多个训练文档中的不同单词赋予唯一编号，在统计词频时，用所述唯一编号来代替相应的单词，并去除词频过低的词。

8.如权利要求6所述的采用多核集群的LDA模型的训练系统，其特征在于：所述每个线程给出其负责处理的文档的主题-词矩阵，具体为：每个线程根据其负责处理的文档中的单词的主题被认定的次数给出所述主题-词矩阵。

9.如权利要求6所述的采用多核集群的LDA模型的训练系统，其特征在于：所述系统还包括线程同步模块，用于每个进程的所有线程在更新LDA模型的主题-词矩阵之前或者之后进行同步。

10.如权利要求6-9之一所述的采用多核集群的LDA模型的训练系统，其特征在于：所述多核分布于多个网络节点，每个网络节点包括一个或多个核。