[发明专利]一种基于标记置信度的弱监督文档分类方法

权利要求书

1.一种基于标记置信度的弱监督文档分类方法，其特征在于：包括以下步骤：

1)用户从包含主题的歧义的文档库中选择样例文档，其中样例文档需要涵盖各个类型文档，且数目均衡；

2)使用标记置信度的方式表示标记信息；

3)使用预设的分类方法对转换后的文档对象进行学习；

4)根据学习所得的预测模型对文档存储设备中的文档进行分类；

5)如果用户对上一步预测的结果满意则转到步骤6，否则从有歧义的文档库中选择更多的样例进行反馈，转到步骤2；

6)结束。

2.如权利要求1所述的基于标记置信度的弱监督文档分类方法，其特征在于：步骤2使用标记置信度表示主题有歧义的文档的标记信息，具体包括：

假设用户提交的样例文档对应集合其中S_i是与文档x_i对应的候选标记集合(S_i＝{1，…，r_i}，r_i是样本x_i的对应的候选标记数目)，文档x_i的真实标记记为y_i(y_i∈S_i)，是未知的；记p_ij为样本x_i的标记为y_j的概率，计算公式如下所示：

3.如权利要求1所述的基于标记置信度的弱监督文档分类方法，其特征在于：步骤3使用预设的算法对转换后的文档进行学习；具体过程如下所示：循环调整的标记置信度，每一轮利用上轮经过调整的标记置信度进行训练，得到一个基分类模型；如此经过T轮迭代后得到T个基分类模型，将这T个基分类模型组合起来得到最终的分类模型。

4.如权利要求3所述的基于标记置信度的弱监督文档分类方法，其特征在于：初始化权重矩阵w⁽⁰⁾：

优化基于标记置信度的损失函数

计算上一步中计算得到的模型在训练集上的误差率r^(t)和因子α^(t)：

5.如权利要求4所述的基于标记置信度的弱监督文档分类方法，其特征在于：在训练集上的误差率在一定程度上表示了本轮训练得到的基分类器在用户提交的文档库的拟合程度；根据本轮训练的结果对样本权重(w^(t))和置信度(P^(t))矩阵进行更新：

经过T轮迭代学习后最终的分类模型是前面T次学习的基分类模型的线性组合：