[发明专利]一种短文本分类方法

摘要

本发明涉及一种短文本分类方法，该短文本分类方法在超平面分割两类样本后，计算每个多类样本与超平面间的几何间距，根据几何间距划分多个子域，每个子域区间被赋予不同的权重，与超平面距离越远的子域，权重越小，在欠采样阶段，根据权重对数据进行欠采样，此时，得到的采样后样本再导入SVM算法中进行分类。故，该短文本分类方法能有效地解决文本分类中的高维度稀疏性和类别不平衡的问题。

主权项

1.一种短文本分类方法，其特征在于：包括以下步骤：S1、设置子域的数目，并初始化训练数据集，使用组合类降维算法在超平面分割两类样本后，计算每个多类样本与超平面间的几何间距，根据几何间距划分多个子域，并对每个所述子域赋予权重，然后根据所述权重得到排序后的样本向量，再根据所述样本向量进行欠采样，得到重采样数据集；S2、使用加权欠采样SVM算法对所述重采样数据集进行分类器训练，得到最优分类器参数，输出分类模型；其中，步骤S1具体步骤如下：S11、设置m个子域，m≥2，并初始化训练数据集X:{x1,x2,…,xn}；S12、得到分割所述训练数据集X:{x1,x2,…,xn}中两类样本的超平面wTx+b＝0，计算每个所述样本到所述超平面wTx+b＝0的几何间距dj，j∈(1,n)；S13、取所述几何间距dj的最大值dM和最小值dm，并取每个所述子域的长为：γ＝(dM‑dm)/m；S14、根据所述几何间距dj、几何间距的最小值dm以及子域的长γ，确定每个所述样本所在的子域，并赋予每个所述子域相应的权重；S15、根据每个所述权重将所述子域排序并得到排序后的样本向量，再根据每个所述权重和样本向量进行欠采样，得到重采样数据集X’:{x1’,x2’,…,xn’}。