[发明专利]自适应潜在狄利克雷模型选择的方法及装置

权利要求书

1.一种自适应潜在狄利克雷模型选择的方法，其特征在于，包括以下步骤：

步骤S100：将语料库转换为用于LDA模型计算的文档词频矩阵F，并根据语料库规模设置初始主题数K，迭代计算LDA模型；

步骤S200：每轮迭代后，根据LDA模型的主题-词概率分布的平均余弦距离相似度r相对上一轮迭代计算中的平均余弦距离相似度r_old是增大或减小，改变主题数K的变化方向dk，进而更新主题数K，并将更新后的主题数K作为下一轮LDA模型迭代的主题数继续进行迭代计算，迭代计算结束后，得到当前语料库的LDA模型；

主题数K的更新规则：K＝k_old+dk*alpha*k_old，其中，k_old为上一次迭代的主题数，dk为主题数K的变化方向，随机初始化为1或-1；alpha为学习因子，可设置为固定值或随着迭代次数变化的序列值；

dk的更新规则为：当r-r_old>0时，dk方向取反，即dk＝-1*dk；当r-r_old<0时dk不变；所述dk的更新结束条件为：当满足r-r_old小于eps或者迭代次数达到maxIteration时，结束迭代计算,所述初始化主题数K包括dk，eps，alpha和maxIteration，其中，maxIteration为最大迭代次数，eps为迭代结束阈值。

2.根据权利要求1所述的自适应潜在狄利克雷模型选择的方法，其特征在于，所述文档词频矩阵F的构建包括以下步骤：

步骤S110：对所述语料库中的文档按顺序编号索引；

步骤S120：对每个文档进行分词处理并构建词典；

步骤S130：基于所述词典构建形式如下的文档词频矩阵F：

其中，M为文档数量，N为词典词数，矩阵中的行表示文档，列表示该词在词典中的索引，f_i,j表示词典中的第j个词在第i个文档中出现的次数。

3.根据权利要求2所述的自适应潜在狄利克雷模型选择的方法，其特征在于，对所述LDA模型的求解方法为基于Gibbs采样的算法。

4.根据权利要求3所述的自适应潜在狄利克雷模型选择的方法，其特征在于，

LDA模型中主题-词概率分布为K*N的矩阵，K为主题数，N为词典中所含词的个数，其每一行表示一个主题的词概率分布，第k个主题的第t个词的概率的计算公式为：

其中，β_t为主题-词概率分布的先验概率分布狄利克雷分布的超参数向量β的第t个分量，为第k个主题中第t个词出现的次数；

主题向量之间的余弦距离相似度d_x,y和平均相似余弦距离相似度r，分别通过下式计算：

其中，d_x,y表示中第x个主题向量与第y个主题向量之间的余弦距离相似度，表示的第x个主题的第n个词的概率值，表示第x个主题向量的模，K为主题数，N为词典中所含词的个数。

5.一种如权利要求1～4任一项所述的自适应潜在狄利克雷模型选择的方法用装置，其特征在于，包括：

初始值设定模块，用于将语料库转换为用于LDA模型计算的文档词频矩阵F，并根据语料库规模设置初始主题数K，迭代计算LDA模型；

迭代更新模块，用于每轮迭代后，根据LDA模型的主题-词概率分布的平均余弦距离相似度r相对上一轮迭代计算中的平均余弦距离相似度r_old是增大或减小，改变主题数K的变化方向dk，进而更新主题数K，并将更新后的主题数K作为下一轮LDA模型迭代的主题数继续进行迭代计算，迭代计算结束后，得到当前语料库的LDA模型；

主题数K的更新规则：K＝k_old+dk*alpha*k_old，其中，k_old为上一次迭代的主题数，dk为主题数K的变化方向，随机初始化为1或-1；alpha为学习因子，可设置为固定值或随着迭代次数变化的序列值。

6.根据权利要求5所述的自适应潜在狄利克雷模型选择的方法用装置，其特征在于，所述初始值设定模块包括：

编号模块：用于对所述语料库中的文档按顺序编号索引；

词典构建模块：用于对每个文档进行分词处理并构建词典；

文档词频矩阵计算模块：用于基于所述词典构建形式如下的文档词频矩阵F：

其中，M为文档数量，N为词典词数，矩阵中的行表示文档，列表示该词在词典中的索引，f_i,j表示词典中的第j个词在第i个文档中出现的次数。