[发明专利]一种基于语义的文本分类方法

说明书

技术领域

本发明涉及文本信息智能检索技术领域，尤其涉及一种基于语义的文本分类方法。

背景技术

文本分类技术在很多领域都有应用，例如，将文本进行分类，分类后的文本用于指导机器翻译中翻译模型的训练，可见，文本分类的精度很重要，精度高的分类文本，可以在其应用领域带来有益效果，而如果文本分类的精度不够，就会给使用这些分类文本的应用带来不利影响。

在现有的文本分类方法中，通常采用训练语料进行分类器训练，然后用训练后的分类器对文本进行分类的方式进行。这种方式下，首先，获取大量标注的训练语料存在困难，如果采用大规模手工标注，则效率低下，其次，由于训练语料有可能存在类别偏见(例如有的标记为新闻的语料，可能更适合标记为娱乐)，会导致分类器也带有类别偏见，因此最终会导致分类精度的降低。另外，现有技术也有用聚类的方法将文本分为若干类别的，但是由于在聚类时对聚出的各个类别无法控制，所以如果只采用聚类的方法将文本分为若干类别，可能存在无法得到真正需要的类的情况。

发明内容

基于背景技术存在的问题，本发明提出了基于语义的文本分类方法，根据文本的语义对文本进行分类，可达到理想的分类效果，而且效率高。

本发明提出的一种基于语义的文本分类方法，根据文本的语义对文本进行分类，包括以下步骤：

A、根据文本集选择预设词典组合构建本体库；

B、将文本集统一格式并分解为基本单元，根据本体库将文本集转化为概念；

C、抽取文本集的特征项，并计算特征项的权重；

D、根据预设训练集构建分类器，并根据预设测试集对分类器进行测试和调整；

E、根据分类器对文本集进行分类。

优选地，预设词典包括实体词典和特征词典。

优选地，实体词典和特征词典由人工设置，并可根据文本集进行修改。

优选地，文本集根据实体词典进行概念转换。

优选地，文本集根据特征词典抽取特征项。

优选地，特征项权值的计算公式为：

w=tf×idf=f×ln(nm+1)]]>

其中，w为特征项t在文档d中的权重值，tf表示t在d内出现的频率，idf表示t的反比文本频率，n表示训练集的文档总数，m表示训练集中包含t的文档数。

优选地，训练集由人工设置，并可根据文本集进行修改。

优选地，测试集根据训练集进行设置。

优选地，分类器采用SVM算法。

本发明根据文本的语义对文本进行分类，直接将文本集转换为概念，即去除了没有实际意义的冗余信息，节约了文本处理的时间，又提高了文本信息的清晰程度，尤其避免了一词多义和多词一义的干扰。本发明中直接抽取特征项并计算权重，作为文本分类的参考依据，使得分类结果更加合理、精确。本发明提供的一种基于语义的文本分类方法，分类精度理想，效率高，能够满足大多数场景的需要。

附图说明

图1为本发明提供的一种基于语义的文本分类方法的流程图。

具体实施方式

本发明提出的一种基于语义的文本分类方法，根据文本的语义对文本进行分类，将文本集概念化处理使得文本信息表达更加清晰简练，使得分类结果更加理想的同时，也大大提高分类效率。

参照图1，本实施方式提供的分类方法包括以下步骤：

A、根据文本集选择预设词典组合构建本体库；

B、将文本集统一格式并分解为基本单元，根据本体库将文本集转化为概念；

C、抽取文本集的特征项，并计算特征项的权重；

D、根据预设训练集构建分类器，并根据预设测试集对分类器进行测试和调整；

E、根据分类器对文本集进行分类。

本实施方式的步骤A中，预设词典包括实体词典和特征词典，实体词典和特征词典根据文本集所属行业由人工进行设定，并可根据文本集的内容进行修改，提高实体词典和特征词典的针对性，从而提高文本分类的精确度。