[发明专利]一种基于循环聚焦机制进行文档主题建模的方法

说明书

本发明提供一种基于循环聚焦机制进行文档主题建模的方法，通过提供一种能够同时利用文档中单词信息，以及句子之间的序列信息，对文档进行有效建模；并利用聚焦机制对句子语义连贯性进行权重学习，可充分利用句子间主题的加权依赖性，从而学习到更加有效的文本向量。

技术背景

本发明涉及文本建模领域，更具体的，涉及一种基于循环聚焦机制进行文档主题建模的方法。

背景技术

使用贝叶斯方法进行无结构文本建模的主要技术是主题模型。传统主题模型的方法体系是建立在词袋模型的假设下，将文本定义为隐含主题空间上的向量分布，而隐含主题又定义为词典上的向量分布。当使用主题模型时，可以将文档映射到隐含主题空间，使用主题分布作为文档向量，从而进行文本检索、聚类、分类等数据挖掘任务。主题模型通常假设文本中的单词是无序的，即词袋模型假设，这一假设能够帮助大规模的文本进行快速有效的建模。然而，文本是基于词语，句子，甚至段落的序列数据，这些序列特征构成了文本本身复杂的语义和机构信息。有些方法利用了词语的有序性对文本进行建模，例如基于n-gram的贝叶斯技术，以及基于循环神经网络的文本建模技术。

然而上述现有技术存在以下缺点：尽管主题模型被广泛应用于文本建模，但是句子之间的连贯一致性，即句子层面的序列信息，却被忽略。句子间的连贯性，是文本数据中天然存在的结构化信息，能够很好地反映文本中的语义信息。这种现象可以理解为句子之间的语义连贯性，体现在当前某个句子的主题是依赖于它前面的某几个句子。而且，这种主题层面的依赖并不是等同的，是存在一定的权重大小的：即当前句子的主题分布，是加权依赖它前面的若干句子。这就必须提出一套能够同时考虑句子之间这种语义连贯性和其加权依赖性的方法，以确保能够充分利用句子之间丰富的序列信息，从而更加有效计算文本语义向量。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。

为此，本发明的目的在于，提供一种基于循环聚焦机制进行文档主题建模的方法，通过提供一种能够同时利用文档中单词信息，以及句子之间的序列信息，对文档进行有效建模；并利用聚焦机制对句子语义连贯性进行权重学习，可充分利用句子间主题的加权依赖性，从而学习到更加有效的文本向量。

为实现上述目的，本发明提供了一种基于循环聚焦机制进行文档主题建模的方法，包括：

步骤一，对于文档dⁱ，设置C值，所述C表示当前句子受多少之前句子的影响值；

步骤二，设定文档dⁱ的主题分布为文档dⁱ在主题空间上的每一维含量为ρ_k，令为RABP(G₀,π)中的基础分布G₀；

步骤三，遍历文档dⁱ中的每一个句子

步骤四，遍历文档中的每一个句子与句子中的单词，计算文档dⁱ在主题空间上的每一维含量为ρ_k；

步骤五，归一化ρ，从而得到文档dⁱ的主题分布

更具体的，在步骤一之前还包括：

(1)针对每一个主题k，采样β_k～Dir(π)，β_k为主题k在词典上的分布；

(2)对于每一个文档dⁱ，首先采样得到该文档的主题分布其中α为超参数，作为基础分布G₀；

(3)针对文档dⁱ中的每一个句子使用RABP(G₀,π)采样得到当前句子的主题分布

(4)针对句子中的每一个单词w，使用采样得到当前句子中的每一个单词；