[发明专利]一种基于词嵌入和生成式神经网络的主题挖掘方法

权利要求书

1.一种基于词嵌入和生成式神经网络的主题挖掘方法，其特征在于，具体包括如下步骤：

S1、对语料库中的文本进行预处理，将文档用词袋表示；

S2、将步骤S1得到的文档词袋表示作为编码器网络的输入，将编码器网络的输出作为表示该文档主题分布的主题向量；

S3、将步骤S2得到的文档主题向量经过加噪后作为高斯解码器的输入，将高斯解码器的输出作为表示该文档词分布的生成式词袋表示；

S4、以自编码器网络的重构损失和狄利克雷先验分布对齐的正则化损失最小为目标，对模型进行训练。

2.根据权利要求1所述的一种基于词嵌入和生成式神经网络的主题挖掘方法，其特征在于，步骤S1中所述将文档用词袋表示采用TF-IDF表示法，所述TF-IDF表示法的具体计算方法如下：

tf-idf_v,d＝tf_v,d×idf_v

其中，n_v,d表示词表第v个词出现在文档d中的次数，|D|表示语料中文档的个数，|D_v|表示语料库中包含词表中第v个词的文档的个数；因此，每个文档可以被表示为一个V维的多项式分布且第v维表示词表中第v个词与该文档的语义相关度。

3.根据权利要求2所述的一种基于词嵌入和生成式神经网络的主题挖掘方法，其特征在于，步骤S2中所述编码器网络由2个全连接层组成，所述编码器网络以真实语料中随机采样的真实文档的V维向量表示为输入，并将其变换为K维服从多项式分布的文档-主题分布所述步骤S2的具体实现步骤如下：

S201、将真实语料中随机采样的真实文档的V维向量表示输入编码器网络，所述编码器网络首先通过如下变换将其映射到S维语义空间：

其中，和分别为两个表示层的权重矩阵和偏置项，是经过批归一化BN(·)的状态向量，leak是LeakyReLU激活函数的超参数，为表示层的输出向量；

S202、编码器网络利用如下变换将映射为K维的文档主题分布：

其中，为与文档对应的文档主题分布且第k∈{1,2,...,K}维θ_e(k)表示第k个主题在文档中所占的比重。

4.根据权利要求3所述的一种基于词嵌入和生成式神经网络的主题挖掘方法，其特征在于，所述步骤S3中使用的高斯解码器以从编码器网络得到的文档主题分布加噪后的为输入，通过非线性变换将其转换为与之对应的V维文档词分布其具体实现步骤如下：

S301、对编码器的输出进行加噪，即

其中，采样自先验狄利克雷分布；β为比例系数，当β＝0时，说明高斯解码器的输入就是编码器的输出，当β＝1时，说明高斯解码器的输入完全采样自先验分布，而不考虑编码器的输出结果；

S302、利用多维高斯分布对每个主题进行建模

解码器网络D用一个词向量维度的高斯分布来建模第k个主题，其中，和Σ_k是可训练参数，分别代表该高斯分布的均值和协方差矩阵；对于词表中的第v∈{1,2,...,V}个词，根据高斯分布的概率密度计算公式，其在第k个主题中的概率φ_k,v可由下式得出：

其中，为词表中第v个词的词向量，V是词表大小，|Σ_k|＝detΣ_k是协方差矩阵Σ_k的行列式，D_e是词向量的维度，为通过概率密度计算出的概率值，为第k个主题归一化后的词分布

S303、计算主题词分布

根据加噪后的主题分布和计算得到的主题词分布，文档词分布可由下式计算：

其中，θ(k)为第k个主题所占的比重。