[发明专利]提取文本特征词的方法、装置、终端设备及存储介质

说明书

本发明公开了一种提取文本特征词的方法，包括：对待分类的文本中的词语进行划分，得到所述文本的至少一个分词；构建所述文本的每个分词的词向量；根据每个所述分词、每个所述分词的词向量以及预设的语料库，计算每个所述分词的相关性、词语点间互信息、词语左熵以及词语右熵；根据每个所述分词的相关性、词语点间互信息、词语左熵以及词语右熵，获得所述文本的至少一个特征词，以使得可以根据每个所述特征词对所述文本进行分类。本发明还公开了一种提取文本特征词的装置、终端设备及存储介质，可以解决文本特征词选取不恰当的问题，能够在文本分类时提高了文本分类结果的准确性，使得分类结果更加合理化。

技术领域

本发明涉及文本分类技术领域，尤其涉及一种的提取文本特征词的方法、装置、终端设备及存储介质。

背景技术

文本分类问题算是自然语言处理领域中一个非常经典的问题，网络信息的快速增长给文本自动分类提供了充足的文本资源，但由于文本类别复杂多样给文本分类提出了严峻的挑战。如何提高文本分类的正确率已经成了分类技术研究的热点。当前的文本自动分类技术具有代表性的有3种分类方法：基于相似度的向量空间模型算法、基于HowNet的语义理解算法以及隐性语义索引算法。

然而，发明人在实施本发明的过程中发现，由于中文文本本身具有近义词和同义词数量众多的特点，在传统的文本分类方法中，在选取特征词时均没有很好地反应特征词语之间的语义联系，导致提取的特征词的代表性不高，降低了文本分类结果的准确性。

发明内容

针对上述问题，本发明的目的在于提供一种提取文本特征词的方法、装置、终端设备以及存储介质，可以解决文本特征词选取不恰当的问题，能够在文本分类时提高了文本分类结果的准确性，使得分类结果更加合理化。

第一方面，本发明实施例提供了一种提取文本特征词的方法，包括：

对待分类的文本中的词语进行划分，得到所述文本的至少一个分词；

构建所述文本的每个分词的词向量；

根据每个所述分词、每个所述分词的词向量以及预设的语料库，计算每个所述分词的相关性、词语点间互信息、词语左熵以及词语右熵；

根据每个所述分词的相关性、词语点间互信息、词语左熵以及词语右熵，获得所述文本的至少一个特征词，以使得可以根据每个所述特征词对所述文本进行分类。

在第一方面的第一种实现方式中，所述对待分类的文本中的词语进行划分，得到所述文本的至少一个分词具体为：

对待分类的文本利用结巴分词工具进行分词处理和消词处理，得到所述文本的至少一个分词。

在第一方面的第二种实现方式中，所述根据每个所述分词的相关性、词语点间互信息、词语左熵以及词语右熵，获得所述文本的至少一个特征词具体为：

根据每个所述分词的相关性、词语点间互信息、词语左熵以及词语右熵，计算每个所述分词的特征重要性指数；

根据每个所述分词的特征重要性指数，获得所述文本的至少一个特征词。

根据第一方面的第二种实现方式，在第一方面的第三种实现方式中，所述根据每个所述分词的相关性、词语点间互信息、词语左熵以及词语右熵，计算每个所述分词的特征重要性指数具体为：

根据每个所述分词的相关性、词语点间互信息、词语左熵、词语右熵以及预设的权值，计算每个所述分词的特征重要性指数。

根据第一方面的第二种实现方式，在第一方面的第四种实现方式中，所述根据每个所述分词的特征重要性指数，获得所述文本的至少一个特征词具体为：

将每个所述分词的特征重要性指数与预设的阈值进行对比，生成对比结果；

根据所述对比结果，获得所述文本的至少一个特征词。