[发明专利]基于句间关联图的文本主题挖掘方法

摘要

一种基于句间关联图的文本主题挖掘方法，涉及数据挖掘技术领域，所解决的是现有挖掘方法质量低及通用性差的技术问题。该方法先将目标文本按句划分，获得文本的句子序列表，再构建目标文本的句子关联矩阵，然后计算句子序列表中各元素的权值，并依据计算出的权值选取主题句，每选取一次主题句后即调整各个非主题句的权值，再依据调整后的权值再度选取主题句，如此往复，直至所有主题句的字符长度之和达到预先设定的字符数量阈值，最后将所有主题句作为从目标文本中挖掘到的主题内容。本发明提供的方法，适用于各种体裁、风格、类型文本文档。

主权项

一种基于句间关联图的文本主题挖掘方法，其特征在于，具体步骤如下：1)目标文本预处理对目标文本按句划分，获得文本的句子序列表S，并对句子序列表S中的各个句子进行词汇分析，提取各个句子中的词汇，将各句子中的词汇作为特征词；2)构建目标文本的句子关联矩阵为：A＝[A_ij]_m×m$A_{\mathrm{ij}}=\left\{\begin{array}{cc}(-1.0)*P_{\mathrm{ij}}*lo{g}_2^{P_{\mathrm{ij}}},& P_{\mathrm{ij}}>0\\ 0,& P_{\mathrm{ij}}=0\end{array}\right.$$P_{\mathrm{ij}}=\left\{\begin{array}{cc}\frac{C_{\mathrm{ij}}}{\sqrt{\left|S_i\right|*\left|S_j\right|}},& i\≠j\\ 0,& i=j\end{array}\right.$其中，A为目标文本的句子关联矩阵，A为m×m的矩阵，m为句子序列表S中的句子数量，A_ij为A中的第i行第j列元素，1≤i≤m,1≤j≤m，S_i为句子序列表S中的第i个句子，S_j为句子序列表S中的第j个句子，|S_i|为S_i中的特征词数量，|S_j|为S_j中的特征词数量，C_ij为S_i与S_j中共同出现的特征词的数量；3)计算句子序列表S中各元素的权值，具体计算公式为：$W\left(i\right)=\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{A}_{\mathrm{ij}}$其中，W(i)为句子序列表S中的第i个句子的权值；4)将句子序列表S中权值最大的句子设定为主题句；5)计算所有主题句的字符长度之和，如果所有主题句的字符长度之和达到主题长度，则转至步骤8)，反之则转至步骤6)；其中，主题长度为预先设定的字符数量阈值；6)调整句子序列表S中各个非主题句的权值，非主题句的权值调整公式为：$W_{\mathrm{new}}\left(i\right)=W_{\mathrm{old}}\left(i\right)\sqrt{1-{\left(P_{\mathrm{ic}}\right)}^2},P_{\mathrm{ic}}\≥0.5$$P_{\mathrm{ic}}=\left\{\begin{array}{cc}\frac{C_{\mathrm{ic}}}{\sqrt{\left|S_i\right|*\left|S_c\right|}},& i\≠c\\ 0,& i=c\end{array}\right.$其中，W_new(i)为句子序列表S中的第i个句子调整后的权值，W_old(i)为句子序列表S中的第i个句子调整前的权值，S_i为句子序列表S中的第i个句子，S_c为句子序列表S中最新选出的主题句，|S_i|为S_i中的特征词数量，|S_c|为S_c中的特征词数量，C_ic为S_i与S_c中共同出现的特征词的数量；7)将句子序列表S的非主题句中权值最大的句子设定为主题句，再转至步骤5)；8)将句子序列表S中所有主题句作为从目标文本中挖掘到的主题内容。