[发明专利]一种多标签在线新闻读者情绪预测方法

摘要

本发明提出了一种多标签在线新闻读者情绪预测方法。包括：提出将在线新闻文本的读者情绪预测问题作为多标签分类任务，即一篇新闻对应一种或者多种读者情绪；提出一种多标签监督的情绪‑主题模型(ML‑sETM)，利用该模型对新闻文本进行读者情绪分类。本发明提出的方法能够有效预测读者在阅读在线新闻文本内容后可能产生的情绪类别集合。本发明可用于读者情绪分析和舆情监控等领域。

主权项

一种多标签在线新闻读者情绪预测方法，该方法包括如下步骤：第1、对在线新闻文本的读者情绪预测问题进行形式化描述定义1：在线新闻文本集合，用符号D表示：D＝{d⁽¹⁾,d⁽²⁾,…,d^(N)}      (1‑1)其中，d⁽ⁱ⁾表示新闻文本，N为在线新闻文本数；定义2：读者情绪标签集合，用符号E表示：E＝{e₁,e₂,…,e_M}      (1‑2)其中，e_i表示读者的某一种情绪标签，M为语料库中情绪标签数；定义3：读者在阅读新闻文本d⁽ⁱ⁾后会产生某一种或者某几种情绪，且不同的读者对同一新闻文本d⁽ⁱ⁾会产生不同的情绪，这些情绪标签组合在一起构成了一个情绪标签子集合Y_i，其中定义4：向量为在线新闻文本d⁽ⁱ⁾∈D的特征构成的特征向量：$x^{\left(i\right)}=\{x_1^{\left(i\right)},x_2^{\left(i\right)},...,x_n^{\left(i\right)}\}---(1-3)$其中表示新闻文本d⁽ⁱ⁾的第j个特征；定义5：向量μ⁽ⁱ⁾为对应的新闻文本d⁽ⁱ⁾∈D的情绪标签标注，用来表示读者在阅读新闻后可能产生的所有情绪：${\mathrm{\μ}}^{\left(i\right)}=\{{\mathrm{\μ}}_1^{\left(i\right)},{\mathrm{\μ}}_2^{\left(i\right)},...,{\mathrm{\μ}}_M^{\left(i\right)}\}---(1-4)$如果新闻文本d⁽ⁱ⁾标注的情绪标签子集合为则μ⁽ⁱ⁾中的项可表示为${\mathrm{\μ}}_k^{\left(i\right)}=\{\begin{array}{cc}1,& e_k\∈Y_i\\ 0,& e_k\∉Y_i\end{array}---(1-5)$定义6：由新闻文本的特征向量和相应的情绪标注的N个向量组成的标注数据集T，用于读者情绪预测模型训练，可表示为：T＝{(x⁽¹⁾,μ⁽¹⁾),(x⁽²⁾,μ⁽²⁾),…,(x^(N),μ^(N))}      (1‑6)其中，x⁽ⁱ⁾表示新闻文本d⁽ⁱ⁾的特征向量，μ⁽ⁱ⁾表示新闻文本d⁽ⁱ⁾的情绪标签标注；定义7：语料库中的所有新闻文本，关于预定义的情绪标签集合中各情绪的概率分布，用符号δ表示；定义8：对于情绪标签集合中的所有情绪标签，关于语料库中隐含主题集合中的各个主题，构成情绪‑主题分布，用符号θ表示；定义9：对于主题集合中的所有主题，关于语料库中的所有词，构成主题‑词分布，用符号表示；第2、构建多标签监督的情绪‑主题模型ML‑sETM定义10：多标签监督的情绪‑主题模型ML‑sETM：对LDA主题模型(Latent Dirichlet Allocation Topic Model)进行扩展：从“文档‑主题‑词”三层贝叶斯结构扩展为“文档‑情绪‑主题‑词”四层贝叶斯结构，同时将其扩展为监督的主题模型；第2.1、对于情绪标签集合中的每个情绪标签e_m∈E，其中m∈{1,2,…,M}，从先验参数为α的狄利克雷分布中得到相应的情绪‑主题分布θ_m＝{θ_m,1,θ_m,2,…,θ_m,K}^T，其中K为语料库中隐含主题的数目；第2.2、对于隐含主题集合中的每个主题t，其中t∈{1,2,…,K}，从先验参数为β的狄利克雷分布中得到相应的主题‑词分布其中V为语料库中特征词的数目；第2.3、对于语料库中的每一篇新闻文本d⁽ⁱ⁾，根据其标注向量μ⁽ⁱ⁾和先验参数γ，得到新闻文本d⁽ⁱ⁾属于各个情绪标签的概率分布δ'_d＝δ_d×μ⁽ⁱ⁾，其中δ_d＝{δ_d,1,δ_d,2,…,δ_d,M}^T为从先验参数为γ的狄利克雷分布中得到的文档‑情绪分布；第2.4、利用Gibbs采样方法，计算情绪‑主题模型对训练数据的情绪‑主题分布θ和主题‑词分布第2.4.1、对于语料库中的每一个单词w_i，随机初始化情绪标签e∈{e₁,e₂,…,e_M}和主题t∈{t₁,t₂,…,t_K}；第2.4.2、根据计算得到的情绪标签、主题的后验概率分布，为语料库中的每个词重新分配情绪标签和主题，其中词w_i属于各情绪标签、主题的概率的计算方法如下公式：$PE\left(e\right)=\frac{\mathrm{\α}+n_{e,z_i}^{-i}}{K\mathrm{\α}+{\Σ}_k{n}_{e,z_i}^{-i}}\×\frac{\mathrm{\γ}+n_{d,e}}{M\mathrm{\γ}+{\Σ}_e{N}_{d,e}^{-i}}\×{\mathrm{\μ}}^{\left(d_i\right)},PT\left(t\right)=\frac{\mathrm{\α}+n_{{\mathrm{\ϵ}}_i,t}^{-i}}{K\mathrm{\α}+{\Σ}_{z^{\′}}{n}_{{\mathrm{\ϵ}}_i,t}^{-i}}\×\frac{\mathrm{\β}+n_{t,w_i}^{-i}}{\left|W\right|\mathrm{\β}+{\Σ}_w{n}_{t,w}^{-i}}$其中，表示整个语料库中除去当前词w_i后主题z被分配给情绪标签e的次数；表示整个语料库中除去当前词w_i后词w_i被分配给主题t的次数；表示文档d中被分配给情绪标签e的词的数目；|W|为语料库中词的数目，K为语料库中隐含主题的数目，M为语料库中情绪标签数；第2.4.3、将第2.4.2步重复I次直至收敛，认为接近真实的分布；对迭代后的结果进行频次统计，计算得到整个语料库的情绪‑主题分布和主题‑词分布计算方法如下公式：其中，n_e,z,·表示整个语料库中主题z被分配给情绪标签e的次数；n_·,z,w表示整个语料库中词w_i被分配给主题t的次数；第3、对于未知读者情绪标签的新闻文本d^(N+1)，利用第2.4步得到的情绪‑主题分布和主题‑词分布采用Gibbs采样方法得到文档属于各个情绪标签的概率δ；第3.1、对于新闻文本d^(N+1)中的每一个单词w_i，随机初始化情绪标签e∈{e₁,e₂,…,e_M}和主题t∈{t₁,t₂,…,t_K}；第3.2、利用Gibbs采样方法为新闻文本d^(N+1)中每个词重新分配情绪标签和主题；词w_i属于各情绪标签、主题的概率的计算方法如下公式：其中，N_d,e为文档d中词被分配给情绪标签e的次数，为第2步训练后的情绪‑主题模型得到的主题z属于情绪标签e的概率，为已训练模型得到的词w属于主题z的概率；第3.3、将第3.2步重复I次直至收敛，认为接近真实的分布；对迭代后的结果进行频次统计，得到文档关于各情绪标签的概率分布δ，计算方法如下公式：${\mathrm{\δ}}_{d,e}=\frac{\mathrm{\γ}+N_{d,e}}{M\mathrm{\γ}+{\Σ}_e{N}_{d,e}}$第3.4、根据第3.3步计算得到的未知文档关于情绪的概率分布δ，采用基于阈值的方法得到新闻文本所属的情绪标签集合，其计算方法如下：$y_k^{\left(i\right)}=\left\{\begin{array}{cc}1,& \frac{{\mathrm{\δ}}_{d,e}}{max({\mathrm{\δ}}_{d,1},...,{\mathrm{\δ}}_{d,M})}\≥p\\ 0,& \frac{{\mathrm{\δ}}_{d,e}}{max({\mathrm{\δ}}_{d,1},...,{\mathrm{\δ}}_{d,M})}\<p\end{array}\right.$其中，p为预先定义的阈值，δ_d,e为未知新闻文本属于情绪标签e的概率。