[发明专利]一种文档主题生成方法和装置

说明书

本发明实施例提供了一种文档主题生成方法和装置。所述方法包括：对文档集合的文档进行分词并提取出词语，统计表征所有提取的词语中两两之间的语义相关性的词间关系数据，统计表征每个词语在每个文档中的重要性的词语文档关系数据，迭代更新所述文档主题关系数据、词语主题关系数据和调整因子达到设定结束条件，以迭代更新得到的词语主题关系数据生成文档集合的文档主题。由此本发明使得最后生成的词语主题关系数据由词语文档关系数据和词间关系数据共同约束，实现了文档主题生成过程兼顾词语之间的语义关系，提高了文档主题生成的准确性。

技术领域

本发明涉及文本分析领域，特别是涉及一种文档主题生成方法和装置。

背景技术

在文本分析领域，想快速知道文档所描述的重点内容，这就需要利用到主题模型技术。给定一系列文档，通过对文档进行分词，计算各个文档中每个单词的词频就可以得到各个文档中各个词语出现的概率。主题模型就是通过对各个文档中各个词语出现的概率的数据进行训练，学习出各个主题中各个词语出现的概率的数据和各个文档中各个主题出现的概率的数据。

传统主题模型构建过程中因忽略词语与词语之间的语义相关性而导致生成大量无意义的主题。原因是在多篇文档中，拥有相同的词语，但不同的词语组合将表达不同的意思。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种文档主题生成方法和装置。

依据本发明的一个方面，提供了一种文档主题生成方法，包括：

对文档集合的文档进行分词并提取出词语；

统计表征所有提取的词语中两两之间的语义相关性的词间关系数据；

统计表征每个词语在每个文档中的重要性的词语文档关系数据；

随机生成表征各个文档对于各预设主题的相关性的文档主题关系数据，以及表征各个词语对于各所述主题的相关性的词语主题关系数据；

根据所述词语主题关系数据和词间关系数据生成调整因子；

依据所述文档主题关系数据、词语主题关系数据和词语文档关系数据的关系，以及词语主题关系数据、调整因子和词间关系数据的关系，迭代更新所述文档主题关系数据、词语主题关系数据和调整因子达到设定结束条件，以使在确定词语文档关系数据和词间关系数据的情况下同时生成文档主题关系数据、词语主题关系数据和调整因子的目标概率达到设定要求；

以迭代更新得到的词语主题关系数据生成文档集合的文档主题。

优选地，所述迭代更新所述文档主题关系数据、词语主题关系数据和调整因子达到设定结束条件，以使在确定词语文档关系数据和词间关系数据的情况下同时生成文档主题关系数据、词语主题关系数据和调整因子的目标概率达到设定要求包括：

在第N+1次迭代中，根据最新的文档主题关系数据、词语主题关系数据和调整因子，生成所述词语主题关系数据在本次迭代中的第一调整值，并以所述第一调整值和设定的学习速率常数更新所述词语主题关系数据；

在第N+1次迭代中，根据最新的文档主题关系数据和词语主题关系数据，生成所述文档主题关系数据在本次迭代中的第二调整值，并以所述第二调整值和设定的学习速率常数更新所述文档主题关系数据；

在第N+1次迭代中，根据最新的词语主题关系数据和调整因子，生成所述调整因子在本次迭代中的第三调整值，并以所述第三调整值和设定的学习速率常数更新所述调整因子；

直至达到所述设定结束条件结束迭代更新，使得所述目标概率达到设定要求。

优选地，所述对文档集合的文档进行分词并提取出词语包括：

对所述文档集合的文档进行分词；