[发明专利]一种文本主题标引的方法、装置、设备及可读存储介质

说明书

本发明提供了一种文本主题标引的方法、装置、设备及可读存储介质，所述方法包括：获取待标引文本，利用齐普夫定律过滤所述待标引文本中词频过高和过低的词汇，获得候选词集合；对所述待标引文本进行预处理，得到文本词序列，对所述文本词序列进行聚类分析，得到每个簇的权重P；基于所述候选词集合，生成所述候选词集合的词共现矩阵，基于所述词共现矩阵构建双向词图，在所述双向词图中迭代计算每个节点的Rank值；基于所述每个簇的权重P与所述每个节点的Rank值标引文本主题。本发明首先对文本进行聚类，使用手肘法确定文本的最佳主题个数，再对不同的主题抽取关键词标引文献。

技术领域

本发明涉及文本标引技术领域，具体而言，涉及一种文本主题标引的方法、装置、设备及可读存储介质。

背景技术

主题标引是从文本内容角度标引和检索信息资源的方法，其主要技术方法包括：采用人工标引的方式，在主题分析的基础上，以一定的受控词表或标引规则为依据，将信息资源中具有检索意义的特征转换成相应的主题词，并将其组织成表达信息资源内容特征的标识。但现有的方法中缺少如何识别文本中的多个主题，并对每个主题使用若干词进行标引。

发明内容

本发明的目的在于提供一种文本主题标引的方法、装置、设备及可读存储介质，以改善上述问题。

为了实现上述目的，本申请实施例提供了如下技术方案：

一方面，本申请实施例提供了一种文本主题标引的方法，所述方法包括：

获取待标引文本，利用齐普夫定律过滤所述待标引文本中词频过高和过低的词汇，获得候选词集合；

对所述待标引文本进行预处理，得到文本词序列，对所述文本词序列进行聚类分析，得到每个簇的权重P；

基于所述候选词集合，生成所述候选词集合的词共现矩阵，基于所述词共现矩阵构建双向词图，在所述双向词图中迭代计算每个节点的Rank值；

基于所述每个簇的权重P与所述每个节点的Rank值标引文本主题。

可选的，所述对所述待标引文本进行预处理，得到文本词序列，包括：

过滤所述待标引文本的图片、表格和公式数据，得到处理后的所述待标引文本；

利用专业领域词表和停用词词对所述处理后的所述待标引文本进行分句和分词处理，得到所述文本词序列。

可选的，所述获取待标引文本，利用齐普夫定律过滤所述待标引文本中词频过高和过低的词汇，获得候选词集合，包括：

计算所述待标引文本中词汇的词频，对词频进行排序，按排序顺序对词频进行编号；

绘制词频与编号之间的曲线图，选取斜率在一定范围内的词汇构建候选词集。

可选的，所述基于所述候选词集合，生成所述候选词集合的词共现矩阵，包括：

基于所述文本词序列，设置长度为N的滑动窗口，滑动窗口内出现的词汇之间定义为共现关系，通过对所述候选词集合进行窗口滑动，记录候选词集中词与词之间的共现次数，生成候选词集的词共现矩阵。

第二方面，本申请实施例提供了一种文本主题标引的装置，所述装置包括获取模块、处理模块、生成模块和标引模块。

获取模块，用于获取待标引文本，利用齐普夫定律过滤所述待标引文本中词频过高和过低的词汇，获得候选词集合；

处理模块，用于对所述待标引文本进行预处理，得到文本词序列，对所述文本词序列进行聚类分析，得到每个簇的权重P；

生成模块，用于基于所述候选词集合，生成所述候选词集合的词共现矩阵，基于所述词共现矩阵构建双向词图，在所述双向词图中迭代计算每个节点的Rank值；