[发明专利]基于块划分及位置权重的文本分类方法

说明书

技术领域

本发明涉及一种基于块划分及位置权重的文本分类方法，属于电子文本组织归类领域。

背景技术

文本分类通常从两个角度评价文本分类方法的优劣：一是分类性能，如准确率、召回率和F1值，二是实现性能，如时间效率和存储效率。而实现文本分类的过程却包含文本预处理、文本表示、分类器训练和分类应用等步骤，其中文本表示包含特征选择、特征权重量化、特征降维等细节。

常规的文本分类方法较多的集中在分类器的选择和改进方面，主要有基于支持向量机、K近邻、贝叶斯网络或多分类器组合等技术，尤其是支持向量机技术以其较高的分类性能和泛化能力而被广泛应用。然而，分类器的分类性能是受待分样本的可分性制约的，而确保样本可分性的关键却在于文本表示。一个文本数据在通过预处理之后，丢失部分信息是不可避免的，而文本向量固有的稀疏性则将加剧信息的丢失，以至于从分类器的设计上去解决输入样本的本身的类别重叠、噪声等变得异常困难和不确定。所以，一个良好文本分类方法如果能够在文本表示阶段最大程度地保留文本所携带的信息，无疑对于提高文本分类的效果是有益的。

传统的文本分类方法主要有两种模式：一是完全基于特征词的词频(TF)信息及其变化来反映文本信息，一是对文本进行断句后，根据特征词所在句子的不同来调节特征词权重以丰富所反映的文本信息。前者由于表达模式单一，不能最大程度的保留文本信息；后者虽携带信息更丰富，但通常的文本大小不一、句子长度差异大，导致句划分分析模式的适应能力差、存储资源消耗大，且不易于寻找有效的特征词权重调节模式等问题。

发明内容

本发明的目的是提供一种基于块划分及位置权重的文本分类方法，能够对文本做块划分、调整和分析后，引入特征词的位置权重表达以丰富文本向量的信息量，进一步提高文本分类的性能。

本发明的一个基本思想就是通过将文本内容划分为文本块，并利用特征词所在的块号或块偏移对特征重要程度的影响，来阐释文本携带的特征词信息之外的结构信息。然而，即便是同类文本的不同实例的原始段(块)大小与数量都是随机的，同时，对于文本块较多的情况，距离较近的文本块对相同特征词的重要程度影响较小，所以为避免直接使用原始段作为文本块的基本单位带来的计算、存储开销，需要对文本块进行适当的调整或重新划分。

本发明的技术方案是：基于块划分及位置权重的文本分类方法，包括如下步骤：

第一步：预处理及原始段、块的提取与标记：对输入的训练或测试文本使用基本的预处理，分析、提取并标记文本的原始段信息，将每个段视为一个文本块；

第二步：统计分析每个文本的块大小与分布，根据一个阈值，对近邻小文本块做合并操作；根据预定义块比率对整个文本或特定文本块重新进行块划分和标记；

第三步：判断处理对象，若为训练集文本，转入第四步，否则转入第六步；

第四步：利用常规的特征提取方法从训练集文本中提取特征词t_j；使用特征权重量化方法，计算特征词的权重w_j；计算特征词t_j对每个训练类别的后验概率；

第五步：提取每个训练集文本中的具有最大后验概率类别与文本类标相符的特征词的分布，分析该特征词分布，选择合适的位置权重表达式f(b)，其中b为块号；

第六步：根据第四步的特征词，提取测试文本的特征词t_j、所属文本块号b_j及原始权重w_j；计算位置权重f(b_j)·w_j来替代原始权重w_j，并输出文本向量；

第七步：利用分类器完成分类模型训练或文本分类。

上述第一步中预处理及原始段、块的提取与标记采用的方法包括中/英文分词、去停用词、英文的词根还原，若为网页文本，则增加去HTML标记等操作。

上述第一步中分析、提取文本的段信息，将每一个段视为一个文本块，加以标记。

上述第二步中合并操作的步骤为：

根据第一步中的标记结果，长度为|D|的文本D被划分为长度序列{d₁，d₂，…，d_l}，其中，l为文本块数，则统计文本D的块平均长度和方差δ如下。