[发明专利]一种字频文本分类方法

摘要

本发明提出一种字频文本分类方法，包括以下内容对输入的文本进行预处理，对于处理后的文本进行汉字分割，形成语料库，去除语料库内的停用词，形成词汇文本矩阵，采用分类器对样本进行训练，计算字频的召回率，计算方式为本发明的分类方法，具有以下特点字频的效果比词频要好很多，甚至在随机森林(RF)，人工神经网络(NNET)，已经组合分类器Bagging和Boosting算法中召回率都达到了100％。这证明在商品描述中，字频比词频更具有特征性。

主权项

一种字频文本分类方法，其特征在于，包括以下内容：对输入的文本进行预处理，对于处理后的文本进行汉字分割，形成语料库，去除语料库内的停用词，形成词汇文本矩阵，采用分类器对词汇文本矩阵进行训练，计算字频的召回率，计算方式为：形成词汇文本矩阵的过程为：在R环境下，使用“tm”包中的TermDocumentMatrix函数形成词汇文本矩阵，词汇文本矩阵是根据向量空间模型建造的；向量空间模型是用一个向量来表示一个文本的信息，使得文本成为特征空间中的一个点，在向量空间模型中文本集合形成一个矩阵，也就是特征空间中点的集合；Wordi是向量空间模型中的特征项，Wij是特征项的权重。对于模型中的特征项权重值，过TF‑IDF权重计算法得到；TF‑IDF权重计算公式为：tfidf(tk,dj)=tf(tk,dj)·log|Tr|#Tr(tk)]]>其中tf(tk，dj)表示关键词tk在文档dj中出现的频度；|Tr|为数据全集中文档的总数，#Tr(tk)为包含关键词tk的文档总数；其中tf(tk,dj)=1+log#(tk,dj)if#(tk,dj)>00otherwise]]>#(tk，dj)表示关键词tk在文档dj中出现的次数；最后余弦归一化得到最终的权重值：Wkj=tfidf(tk,dj)Σs=1|T|tfidf(ts,dj)2.]]>