[发明专利]一种网络热点话题的发现方法和系统

权利要求书

1.一种网络热点话题发现方法，包括如下步骤：

获取海量网络文本，去除低频词项，计算剩余常用词的词共现矩阵X；

对词共现矩阵X进行稀疏非负矩阵分解，将分解结果W与其转置H构成词项-主题矩阵；

利用pLSA算法对词项-主题矩阵进行计算，得到文档-主题分布；

统计每个话题涉及的文档数并进行热点排序，得到网络热点话题。

2.根据权利要求1所述的网络热点话题发现方法，其特征在于，所述方法中当文本数量大于40000时开始去除低频词项，所述词频低于0.01的词项为低频词项；所述去除低频词项后，剩余常用词量保持在20000左右。

3.根据权利要求1所述的网络热点话题发现方法，其特征在于，所述计算剩余常用词的词共现矩阵X包括：

S101：获得常用词词项t_i的分布(W_i，1，W_i，2，...，W_i，m)，其中W_i，m表示词t_i与t_m之间的互信息。

其中，

其中，函数n(x，x)表示常用词项的出现次数，t_i、t_m、t_j、t_k为常用词项；

S102：计算任意两个词分布之间的余弦，填入词共现矩阵X。

4.根据权利要求1所述的网络热点话题发现方法，其特征在于，所述对词共现矩阵X进行稀疏非负矩阵分解包括：

S201：对词共现矩阵X进行分解，X＝WW^T，W≥0.

S202：随机初始化非负矩阵W；

S203：令W＝W-μ(WW^T-X)W，这里μ为给定的正值常量；对W的每一列进行稀疏约束，让其每一列的12范数在稀疏前后都不变，通过给定的稀疏度s，计算11范数；

S204：重复上一步，直至条件满足；η为一个极小的正值常量，W为计算得到的值，W_old为已有值；最终得到W与其转置H构成了词项-主题矩阵。

5.根据权利要求4所述的网络热点话题发现方法，其特征在于，所述S203步骤具体如下：

(1)初始化矩阵W≥0和H≥0；

(2)迭代：

W←PG(W-μ_W(WH-V)H^T)，L₂-范数不变，L₁-范数设置到既定稀疏度；H←PG(H-μ_HW^T(WH-V))，归一化L₂-范数，L₁-范数设置到既定稀疏度；

其中，PG表示投影函数；

对矩阵X设定稀疏度的操作方式如下：

(1)设这里，s表示稀疏度，x表述矩阵X的列

(2)设Z＝{}

(3)迭代：1.设

2.设S＝m+α(S-m)，α≥0.；

如果S中所有元素都是非负，返回2，结束；

3.设Z＝ZU{i，s_i＜0}，s_i＝0，

4.计算c＝(∑s_i-L₁)/(dim(X)-size(Z))；

5.设返回到1；

(4)直到X所有列都映射到既定稀疏度。

6.根据权利要求1所述的网络热点话题发现方法，其特征在于，所述对词共现矩阵X进行稀疏非负矩阵分解包括：

S301：将文档-主题矩阵P(D,Z)和词-主题矩阵P(W,Z)作为初始值输入pLSA，其中，D表示文档，W表示词项与前述W是同一个概念，Z表示隐含的主题；在最小熵意义下，对如下表达式进行优化

其中，p(d,w)代表文档和词项的联合概率密度，n(w,d)代表词项w在文档d中出现的次数，p(w|z)和p(z|d)代表条件概率密度；

迭代过程如下：

E步：

M步：

经过优化计算得到的文档-主题矩阵P(D,Z)，即为文档主题分布。