[发明专利]自适应潜在狄利克雷模型选择的方法及装置

说明书

本发明提供一种自适应潜在狄利克雷模型选择的方法及装置，其中的方法根据语料库规模初始化一个经验主题个数K，通过计算LDA模型的主题‑词概率分布的平均余弦距离相似性测度不断更新主题个数K，通过若干轮迭代计算得到相对于初始主题个数更适合当前语料库的K值，并输出对应的LDA模型作为最终的结果模型。通过动态调整主题个数K，在一定程度上避免了因个人经验主观设置K导致的模型不合理问题，提高了模型的精度。

技术领域

本发明涉及自然语言处理技术领域，具体的涉及一种自适应潜在狄利克雷模型选择的方法及装置。

背景技术

随着互联网的快速发展，信息总量日益剧增，人们对信息的高效检索和获取的需求日益强烈。由于网上信息的表现形式多以文本为主，因此对文本信息进行自动分类成为信息检索领域的重要研究热点。文本自动分类方法中根据文本内容确定关联的类别，以基于统计机器学习的文本分类方法应用最为广泛，其中一种常见模型是隐含狄利克雷分配(Latent Dirichlet Allocation，LDA)模型。

LDA模型是一种主题模型，可以用来识别大规模文档集或语料库中潜藏的主题信息，得到文档-主题概率分布以及主题-词概率分布，在文本挖掘领域包括文本主题识别、文本分类以及文本相似度计算方面都有应用。在LDA模型的计算中主题数K的设置受限于个人经验，并且不同规模大小的语料库有不同的特性，即使同一规模大小的不同语料库也存在差异，这给K的设置带来很大挑战，常常由于K值设置的不合理性导致LDA模型的精度较差从而影响后续的分析计算。

发明内容

本发明的目的在于提供一种自适应潜在狄利克雷模型选择的方法及装置，该发明解决了的技术问题。

本发明的一方面提供一种自适应潜在狄利克雷模型选择的方法，包括以下步骤：

步骤S100：将语料库转换为用于LDA模型计算的文档词频矩阵F，并根据语料库规模设置初始主题数K，迭代计算LDA模型；

步骤S200：每轮迭代后，根据LDA模型的主题-词概率分布的平均余弦距离相似度r相对上一轮迭代计算中的平均余弦距离相似度r_old是增大或减小，改变主题数K的变化方向dk，进而更新主题数K，并将更新后的主题数K作为下一轮LDA模型迭代的主题数继续进行迭代计算，迭代计算结束后，得到当前语料库的LDA模型；

主题数K的更新规则：k＝k_old+dk*alpha*k_old，其中，k_old为上一次迭代的主题数，dk为主题数K的变化方向，随机初始化为1或-1；alpha为学习因子，可设置为固定值或随着迭代次数变化的序列值。

进一步地，文档词频矩阵F的构建包括以下步骤：

步骤S110：对语料库中的文档按顺序编号索引；

步骤S120：对每个文档进行分词处理并构建词典；

步骤S130：基于词典构建形式如下的文档词频矩阵F：

其中，M为文档数量，N为词典词数，矩阵中的行表示文档，列表示该词在词典中的索引，f_i,j表示词典中的第j个词在第i个文档中出现的次数。

进一步地，初始化主题数K包括dk，eps，alpha和maxIteration，其中，maxIteration为最大迭代次数，eps为迭代结束阈值。

进一步地，对LDA模型的求解方法为基于Gibbs采样的算法。

进一步地，LDA模型中主题-词概率分布为K*N的矩阵，K为主题数，N为词典中所含词的个数，其每一行表示一个主题的词概率分布，第k个主题的第t个词的概率的计算公式为：