[发明专利]一种文本主题标引的方法、装置、设备及可读存储介质

权利要求书

1.一种文本主题标引的方法，其特征在于，包括：

获取待标引文本，利用齐普夫定律过滤所述待标引文本中词频过高和过低的词汇，获得候选词集合；

对所述待标引文本进行预处理，得到文本词序列，对所述文本词序列进行聚类分析，得到每个簇的权重P；

基于所述候选词集合，生成所述候选词集合的词共现矩阵，基于所述词共现矩阵构建双向词图，在所述双向词图中迭代计算每个节点的Rank值；

基于所述每个簇的权重P与所述每个节点的Rank值标引文本主题。

2.根据权利要求1所述的文本主题标引的方法，其特征在于，所述对所述待标引文本进行预处理，得到文本词序列，包括：

过滤所述待标引文本的图片、表格和公式数据，得到处理后的所述待标引文本；

利用专业领域词表和停用词词对所述处理后的所述待标引文本进行分句和分词处理，得到所述文本词序列。

3.根据权利要求1所述的文本主题标引的方法，其特征在于，所述获取待标引文本，利用齐普夫定律过滤所述待标引文本中词频过高和过低的词汇，获得候选词集合，包括：

计算所述待标引文本中词汇的词频，对词频进行排序，按排序顺序对词频进行编号；

绘制词频与编号之间的曲线图，选取斜率在一定范围内的词汇构建候选词集。

4.根据权利要求1所述的文本主题标引的方法，其特征在于，所述基于所述候选词集合，生成所述候选词集合的词共现矩阵，包括：

基于所述文本词序列，设置长度为N的滑动窗口，滑动窗口内出现的词汇之间定义为共现关系，通过对所述候选词集合进行窗口滑动，记录候选词集中词与词之间的共现次数，生成候选词集的词共现矩阵。

5.一种文本主题标引的装置，其特征在于，包括：

获取模块，用于获取待标引文本，利用齐普夫定律过滤所述待标引文本中词频过高和过低的词汇，获得候选词集合；

处理模块，用于对所述待标引文本进行预处理，得到文本词序列，对所述文本词序列进行聚类分析，得到每个簇的权重P；

生成模块，用于基于所述候选词集合，生成所述候选词集合的词共现矩阵，基于所述词共现矩阵构建双向词图，在所述双向词图中迭代计算每个节点的Rank值；

标引模块，用于基于所述每个簇的权重P与所述每个节点的Rank值标引文本主题。

6.根据权利要求5所述的文本主题标引的装置，其特征在于，所述处理模块，包括：

过滤单元，用于过滤所述待标引文本的图片、表格和公式数据，得到处理后的所述待标引文本；

处理单元，用于利用专业领域词表和停用词词对所述处理后的所述待标引文本进行分句和分词处理，得到所述文本词序列。

7.根据权利要求5所述的文本主题标引的装置，其特征在于，所述获取模块，包括：

计算单元，用于计算所述待标引文本中词汇的词频，对词频进行排序，按排序顺序对词频进行编号；

选取单元，用于绘制词频与编号之间的曲线图，选取斜率在一定范围内的词汇构建候选词集。

8.根据权利要求5所述的文本主题标引的装置，其特征在于，所述生成模块，包括：

生成单元，用于基于所述文本词序列，设置长度为N的滑动窗口，滑动窗口内出现的词汇之间定义为共现关系，通过对所述候选词集合进行窗口滑动，记录候选词集中词与词之间的共现次数，生成候选词集的词共现矩阵。

9.一种文本主题标引的设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述文本主题标引的方法的步骤。

10.一种可读存储介质，其特征在于：所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述文本主题标引的方法的步骤。