[发明专利]一种基于众包反馈和主动学习的文本分类模型优化方法

权利要求书

1.一种基于众包反馈和主动学习的文本分类模型优化方法，其特征在于，包括以下步骤：

步骤一：选取文本数据集，将文本数据集分为初始训练集和剩余数据集；

步骤二：对所述文本数据集进行预处理，从中获得词；

步骤三：以每个词为特征，构建所述文本数据集的特征集，并计算特征对应的权重值以向量化所述文本数据集；

步骤四：在分类模型上引入主动学习，对已向量化的所述文本数据集进行情感极性预测，并且结合众包反馈信息优化模型，获得优化的文本分类结果。

2.如权利要求1所述的基于众包反馈和主动学习的文本分类模型优化方法，其特征在于，步骤四包含如下步骤：

a.使用初始训练集训练原始的分类模型，使用所述分类模型对所述剩余数据集进行预测；

b.在所述分类模型中引入主动学习，在所述剩余数据集中挑选出若干最有价值的样本，交给众包平台，进行人工标注并收集标注理由；

c.获取人工标注理由中的关键词，提升关键词对应词的权重，同时将已标注的样本从剩余数据集中剔除，放入初始训练集中；

d.使用更新后的初始训练集和已向量化的所述文本数据集重新训练所述分类模型，所述分类模型继续用于预测所述剩余数据集；

e.返回进行步骤b到d并迭代，直至用完预算或满足预先设置的终止学习指标为止，得到优化的文本分类结果。

3.如权利要求2所述的基于众包反馈和主动学习的文本分类模型优化方法，其特征在于，所述最有价值的样本是对于所述分类模型最不确定的样本，所述分类模型所述最有价值的样本所预测出的分类结果的置信度低。

4.如权利要求3所述的基于众包反馈和主动学习的文本分类模型优化方法，其特征在于，所述挑选样本的方法包括随机选择策略、基于边缘的选择策略和基于后验概率的选择策略。

5.如权利要求1或2所述的基于众包反馈和主动学习的文本分类模型优化方法，其特征在于，所述众包反馈是通过众包平台获取的人工标注结果以及标注理由。

6.如权利要求5所述的基于众包反馈和主动学习的文本分类模型优化方法，其特征在于，所述标注理由是在由自动化的方式对原始文本进行处理后形成的若干个特征词中，通过众包平台人工地筛选出的少量特征词。

7.如权利要求1或2所述的基于众包反馈和主动学习的文本分类模型优化方法，其特征在于，计算特征对应的权重值的方法包括：基于词的方法、基于词频的方法和基于TFIDF的方法。

8.如权利要求1或2所述的基于众包反馈和主动学习的文本分类模型优化方法，其特征在于，所述分类模型包括：支持向量机SVM、K最邻近结点算法kNN以及朴素贝叶斯NB。

9.如权利要求1或2所述的基于众包反馈和主动学习的文本分类模型优化方法，其特征在于，所述的权重值根据众包反馈的内容进行改进，权重值以w＝w₀×k×ε表示，其中w₀为上一次迭代中的权重值，k为所述众包反馈中特征词出现的次数，ε为经验系数。