[发明专利]一种基于语义词网络的短文本主题挖掘方法

摘要

本发明公开了一种基于语义词网络的短文本主题挖掘方法，包括如下步骤1)模型初始化阶段：相关领域外部语料收集、语料预处理、参数设置等；2)主题单元构建阶段：构建语义词网络、寻找特定词三角结构、计算模型先验参数等工作；3)模型训练阶段：使用吉布斯采样方法对模型变量进行采样，并判断模型是否达到收敛条件；4)结果输出阶段：根据模型训练结束后的各个变量的采样结果，得到各个词三角的主题分布，进而推算出原文档的主题分布。本发明将外部语料库学习到的语义信息与词三角主题结构相结合，应用于短文本主题挖掘方面，相对于传统词对主题模型，该方法提供了一个在传统主题模型中融入外部先验知识的解决方案，并且挖掘主题的质量具有显著提升。

主权项

1.一种基于语义词网络的短文本主题挖掘方法，其特征在于，包括如下步骤：步骤1，模型初始化阶段：采集相关领域外部语料构建外部语料库；对外部语料库与目标语料库的进行预处理操作，使外部语料库与目标语料库中的语料转化为能够被word2vec模型接受的格式；将外部语料库作为输入，训练word2vec模型，使word2vec模型输出指定词向量；通过训练好的word2vec模型提取目标语料库中的词向量数据；步骤2，主题单元构建阶段：2)‑a根据目标语料库D＝{d₁，d₂，...，d_n}中词语的共现关系生成基础词共现网络，具体步骤为：步骤2)‑a‑1)建立点集合V、边集合E、边属性集合R，初始状态为空；步骤2)‑a‑2)对于文档d_k＝{w₁，w₂，...，w_m}中的每个单词w_i，如果单词w_i未出现在集合V中，则将其加入V中，k∈{1，2，…，n}；步骤2)‑a‑3)对于文档d_k中所有单词对w_i，w_j，如果未存在于集合E中，则将其加入E中，并且在集合R中加入属性对r_ij＝<S_ij，s_ij>；其中，S_ij＝{k}表示包含该词对的文档号集合，s_ij表示单词w_i和w_j之间的语义相似度属性；令S_ij＝{k}，若边e_ij已存在于集合E中，则在边属性r_ij中的文档号属性集合S_ij中加入文档号k；2)‑b在词共现网络的基础上融入语义信息构建语义词网络，具体步骤为：步骤2)‑b‑1)将目标语料库与外部语料库中词语的词向量数据对比，对于目标语料库未登录的词，设定相应词向量为空，即为后续无语义信息；步骤2)‑b‑2)设置阈值δ；步骤2)‑b‑3)对于词共现网络中每一对词节点w_i和w_j，按照如下公式计算词语对之间的语义相似度：其中，和分别表示词w_i和w_j对应的词向量；步骤2)‑b‑4)判断每一对词节点w_i和w_j间是否有边连接；若是，转到步骤2)‑b‑5)；否则，转到步骤2)‑b‑6)；步骤2)‑b‑5)将语义相似度s_ij记入边属性r_ij＝<S_ij，s_ij>中，其中S_ij为词对原本的共现文档号集合；步骤2)‑b‑6)判断语义相似度s_ij是否满足s_ij＞δ；若是，转到步骤2)‑b‑7)；否则，该词对节点不做任何操作；步骤2)‑b‑7)在边集合E中加入边集合e_ij，并在边属性集合R中加入属性对r_ij＝<S_ij，s_ij>，令s_ij＝sim(w_i，w_j)；步骤2)‑c对于语义词网络中每个词w_i计算逆文档频率，公式如下：其中|d∈D：w_i∈d|表示包含w_i的文档的个数，N_D表示语料库中文档总数；步骤2)‑d在语义词网络中寻找满足以下条件的语义词三角：语义词三角中的三个单词节点之间互相有边连接，且来自不同文档子网络的连接部分；步骤3，模型训练阶段：对步骤2得到的所有语义词三角，随机初始化语义词三角的主题分布；通过吉布斯采样得到当前语义词三角分布，并且由此计算文档主题分布和主题词语分布更新参数，循环迭代，直到达到最大迭代次数或吉布斯采样收敛，将最后得到的吉布斯采样结果作为词三角主题分布；步骤4，结果输出阶段：根据步骤3得到的语义词三角主题分布，推算出原文档的主题分布。