[发明专利]面向多源信息的混合文本话题发现方法

权利要求书

1.一种面向多源信息的混合文本话题发现方法，具体包括以下步骤：

步骤一、对原始数据进行特征融合，得到特征均匀的结果集D；

步骤二、对步骤一中得到特征均匀的结果集D，基于狄利克雷多项式混合模型的聚类方法进行聚类；其特征在于，

所述步骤一中，对原始数据进行特征融合，具体包括以下子步骤：

步骤1.1定义长文本和短文本；

步骤1.2对每一个长文本，基于TextRank算法对长文本进行摘要提取；

步骤1.3对每一个短文本，基于哈工大同义词词林来对短文本进行同义词拓展；

所述步骤二中，具体包括以下子步骤：

2.1初始化，设置α、β、K的值，将所有文档划分为K个簇，对每一个簇z，初始化m_z，n_z，n_z(w)计数为0，其中m_z表示簇z中所有文档的总数目，n_z代表在簇z中所有文档内所有词语的个数，n_z(w)表示词语w在簇z中出现的总次数；

2.2对于结果集D中每一篇文档d，随机为所有文档d初始化一个簇，对于加入的簇，每加入一个文档，将m_z的计数加1，将n_z的计数加N_d，N_d表示文档d中所有词语的个数，对每一个单词，n_z(w)的计数加N_d(w)，N_d(w)为文档d中，词语w的个数；

2.3每篇文档d的重新分配，依次对于每一个簇中的每一篇文档d重新分配，且通过坍塌吉布斯采样算法进行重新分配，通过坍塌吉布斯采样算法，得到概率分布；

2.4根据所求得的概率分布，最终每个文本被分配给一个特定的簇，即每个文本属于一个话题，那么第z个簇中w词语出现的概率为：

其中n_z(w)表示词语w在簇z中出现的总次数；φ_z(w)可以理解为词语w对于簇z的重要程度，根据φ_z(w)的次序可以得到每个簇的代表词。

2.如权利要求1所述的一种面向多源信息的混合文本话题发现方法，其特征在于，所述步骤1.2，具体包括以下子步骤：

1.2.a)预处理，将长文本内容按标点符号分割成句子，形成句子集V，对每个句子进行分词、去除停用词操作；

1.2.b)句子间相似度计算，基于句子间的相似度，构建边集E，通过句子集V和边集E构建出图G，G＝(V，E)；每个句子S_i可以表示为N_i个词语的集合，即

给定两个句子S_i，S_j采用如下公式计算两个句子间的相似度w_ij：

公式中，分子的意义是同时出现在两个句子中的词语的个数，|S_i|表示句子S_i中词语的个数，|S_j|表示句子S_j中词语的个数；

如果两个句子之间的相似度大于某个设定的阈值，就认定这两个句子语义关联并将它们在图G中连接起来，w_ij作为边的权值；

1.2.c)基于该句子对相邻句子的贡献程度对句子重要程度计算；根据TextRank算法的计算公式，句子的权重WS(V_i)可以迭代表示为：

其中，d是阻尼系数，V_i表示句子集中的句子，In(V_i)代表在图G中指向句子V_i的所有句子的集合，Out(V_j)代表在图G中句子V_j指向的所有句子的集合，w_ij代表由句子S_i和s_j所连接的边的权值，w_jk代表由句子S_j和S_k所连接的边的权值；根据上述公式，迭代传播计算各个句子节点的权值；

1.2.d)选取候选摘要句：对1.2.c)中的句子权值进行倒序排序，选取权值最高的前N个句子作为候选摘要句；

1.2.e)形成摘要，根据设置的字数或句子数要求，从候选摘要句中选择句子组成摘要；输入的长文本经过步骤1.2.a)至步骤1.2.d)后，输出为该长文本的摘要，即得到文档d，其中文档d属于结果集D。