[发明专利]针对不平衡数据的融合用户行为规则的垃圾评论过滤方法

摘要

本发明提供一种针对不平衡数据的融合用户行为规则的垃圾评论过滤方法，包括：对少类样本数据进行重新构建，对多类样本数据集中的多类样本数据进行欠采样，重新构造得到平衡的训练样本语料库；利用训练样本语料库，提取分类特征词，对构建的贝叶斯模型进行训练；调用用户行为规则模型，检测待分类的评论数据是否为垃圾评论，对评论数据进行初步分类；对待分类的评论数据进行特征提取，使用已训练好的贝叶斯分类模型进行分类；使用Adaboosting算法，对用户行为规则模型和贝叶斯分类模型进行集成学习，利用已标记的训练样本数据进行训练，得到最终的待分类的评论数据的分类结果。优点为：全面提高垃圾评论过滤效率。

主权项

1.一种针对不平衡数据的融合用户行为规则的垃圾评论过滤方法，其特征在于，包括以下步骤：步骤1，抓取网络媒体频道上的评论样本数据组成评论样本数据集，标记每条评论样本数据的评论数据类型；其中，所述评论数据类型包括正例样本类型和负例样本类型；步骤2，比较所述评论样本数据集中正例样本数据和负例样本数据的数量，如果正例样本数据的数量多于负例样本数据的数量，则将正例样本数据作为多类样本数据，将负例样本数据作为少类样本数据；反之，如果正例样本数据的数量少于负例样本数据的数量，则将正例样本数据作为少类样本数据，将负例样本数据作为多类样本数据；由此将评论样本数据集划分为少类样本数据集和多类样本数据集；步骤3，对少类样本数据集中的少类样本数据进行重新构建，对多类样本数据集中的多类样本数据进行欠采样，重新构造得到平衡的训练样本语料库；其中，训练样本语料库中的每个训练样本均被标记评论数据类型，因此，训练样本区分正例训练样本和负例训练样本；训练样本语料库包括正例训练样本子库和负例训练样本子库；步骤4，利用训练样本语料库，提取分类特征词，对构建的贝叶斯模型进行训练；本步骤具体包括：步骤4.1，根据公式计算正例训练样本的先验概率P(c1)和负例训练样本的先验概率P(c2)： P ( c 1 ) = n 1 N ]]> P ( c 2 ) = n 2 N ]]>其中：N表示训练样本语料库中的训练样本的总数量；n1表示训练样本语料库中正例训练样本的数量；n2表示训练样本语料库中负例训练样本的数量；步骤4.2，对于每个训练样本，对其进行分词，基于下式，采用信息增益的方法计算每个词w对模型分类的贡献值IG(w)： I G ( w ) = - { P ( c 1 ) log P ( c 1 ) + P ( c 2 ) log P ( c 2 ) } + P ( w ) { P ( c 1 | w ) log P ( c 1 | w ) + P ( c 2 | w ) log P ( c 2 | w ) } + P ( w ‾ ) { P ( c 1 | w ‾ ) log P ( c 1 | w ‾ ) + P ( c 2 | w ‾ ) log P ( c 2 | w ‾ ) } ]]>其中：P(w)表示训练样本语料库中包含单词w的训练样本的出现概率，即：P(w)＝包含单词w的训练样本的数量/训练样本的总数量N；P(c1|w)表示包含单词w的正例训练样本的条件概率，即：P(c1|w)＝包含单词w的正例训练样本的数量/包含单词w的训练样本的数量；P(c2|w)表示包含单词w的负例训练样本的条件概率，即：P(c2|w)＝包含单词w的负例训练样本的数量/包含单词w的训练样本的数量；表示训练样本语料库中不包含单词w的训练样本的出现概率，即：表示不包含单词w的正例训练样本的条件概率，即：表示不包含单词w的负例训练样本的条件概率，即：步骤4.3，预设定贡献阈值，提取贡献值高于贡献阈值的词作为特征词，设共提取到m个特征词，分别为w1，w2，...，wm，由此得到特征词集F＝{w1,w2,...,wm}；步骤4.4，对于特征词集中任意特征词wi，i＝1,2，...,m，采用下式计算特征词wi属于正例训练样本类别的条件概率值P(wi|c1)以及wi属于负例训练样本类别的条件概率值P(wi|c2)： P ( w i | c 1 ) = n c 1 , w i / n c 1 ]]> P ( w i | c 2 ) = n c 2 , w i / n c 2 ]]>其中：表示训练样本语料库中出现特征词wi的正例训练样本数量；表示训练样本语料库中正例训练样本数量；表示训练样本语料库中出现特征词wi的负例训练样本数量；表示训练样本语料库中负例训练样本数量；步骤5，对于待分类的评论数据，首先进行敏感词检测，若存在敏感词直接视为垃圾评论；若不存在敏感词，进入步骤6；步骤6，对经步骤5检测后的待分类的评论数据进行新词发现检测，如果含有新词，将新词标注评论数据类型后，将其加入到训练样本语料库中，扩展更新训练样本语料库；如果不含有新词，进入步骤7；步骤7，调用用户行为规则模型，检测待分类的评论数据是否为垃圾评论，对评论数据进行初步分类；然后进入步骤8；步骤8，对待分类的评论数据进行特征提取，使用已训练好的贝叶斯分类模型进行分类；本步骤具体包括：步骤8.1，对于待分类的评论数据进行分词预处理，得到若干个分词；从得到的若干个分词中，提取属于步骤4.3得到的特征词集F的分词作为特征词，假设共提取到s个特征词，分别为x1,x2，...，xs，由此得到表现出评论分类倾向的特征词向量X＝{x1，x2，...，xs}；步骤8.2，采用下式计算待分类的评论数据在正例训练样本子库出现的先验条件概率P(X|c1)和在负例训练样本子库出现的先验条件概率P(X|c2)： P ( X | c 1 ) = Π j = 1 s ( u j p ( x j | c 1 ) + ( 1 - u j ) ( 1 - p ( x j | c 1 ) ) ]]> P ( X | c 2 ) = Π j = 1 s ( u j p ( x j | c 2 ) + ( 1 - u j ) ( 1 - p ( x j | c 2 ) ) ]]>其中：uj表示待分类的评论数据中是否包含特征词xj，如果含有特征词xj，则uj为1；反之为0；p(xj|c1)表示特征词xj属于正例训练样本类别的条件概率值，与步骤4.4计算得到的同一个特征词的P(wi|c1)的值相等；ujp(xj|c2)表示特征词xj属于负例训练样本类别的条件概率值，与步骤4.4计算得到的同一个特征词的P(wi|c2)的值相等；步骤8.3，采用下式计算在训练样本语料库中，待分类的评论数据出现的概率P(X)：P(X)＝P(X|c1)P(c1)+P(X|c2)P(c2)步骤8.4，采用下式计算待分类的评论数据属于正例评论类别的概率P(c1|X)以及属于负例评论类别的概率P(c2|X)： P ( c 1 | X ) = P ( X | c 1 ) P ( c 1 ) P ( X ) ]]> P ( c 2 | X ) = P ( X | c 2 ) P ( c 2 ) P ( X ) ]]>步骤9，使用Adaboosting算法，对用户行为规则模型和贝叶斯分类模型进行集成学习，利用已标记的训练样本数据进行训练，采用下式得到最终的待分类的评论数据的分类结果Qk(X)： Q k ( X ) = Σ t = 1 K μ t f t ( X ) ]]>其中:K为分类模型的个数，此处为常量值2；μt表示第t个分类模型在最终精确的分类器中占的权重值，始终大于0；ft(X)表示为在X维特征词向量空间上第t个分类模型的分类判断结果，其中，f1(X)表示在X维特征词向量空间上贝叶斯分类模型的分类判断结果，f2(X)表示在X维特征词向量空间上用户行为规则模型的分类判断结果，即为步骤7得到的初步分类结果。