[发明专利]主题分类器的训练方法、装置及计算机可读存储介质

权利要求书

1.一种主题分类器的训练方法，其特征在于，所述主题分类器的训练方法包括以下步骤：

获取训练样本和测试样本，其中，所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的；

利用预设算法分别提取训练样本和测试样本的特征，并根据所述训练样本的特征，通过迭代算法计算出逻辑回归模型的最优模型参数，训练出含最优模型参数的逻辑回归模型；

根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线，并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价，训练出第一主题分类器；

其中，所述利用预设算法分别提取训练样本和测试样本的特征，并根据所述训练样本的特征，通过迭代算法计算出逻辑回归模型的最优模型参数，训练出含最优模型参数的逻辑回归模型，包括：

利用预设算法分别提取训练样本和测试样本的特征，对应建立第一哈希散列表和第二哈希散列表；

将所述第一哈希散列表代入逻辑回归模型，并通过迭代算法计算出逻辑回归模型的最优模型参数，训练出含最优模型参数的逻辑回归模型。

2.如权利要求1所述的主题分类器的训练方法，其特征在于，所述获取训练样本和测试样本，其中，所述训练样本为根据文本数据训练出对应的话题模型后经过人工标注获得的，包括：

采集文本数据，并对所述文本数据进行预处理，获得对应的第一关键词集；

根据所述第一关键词集和预设数量的话题，利用预设主题模型计算得到所述文本数据在所述话题上的分布，并根据所述文本数据在所述话题上的分布情况进行聚类，训练出所述文本数据对应的话题模型；

根据所述话题模型对所述文本数据的人工标注结果，从所述文本数据中筛选出与目标主题分类器对应的训练样本，并将所述文本数据中除所述训练样本之外的文本数据作为测试样本。

3.如权利要求1所述的主题分类器的训练方法，其特征在于，所述根据所述测试样本的特征和所述含最优模型参数的逻辑回归模型绘制受试者工作特征ROC曲线，并根据ROC曲线下面积AUC对所述含最优模型参数的逻辑回归模型进行评价，训练出第一主题分类器，包括：

将所述第二哈希散列表代入所述含最优模型参数的逻辑回归模型，得到真阳性TP，真阴性TN，伪阴性FN和伪阳性FP；

根据所述TP，TN，FN和FP绘制ROC曲线；

计算ROC曲线下面积AUC，根据AUC值对所述含最优模型参数的逻辑回归模型进行评价；

当所述AUC值小于或等于预设AUC阈值时，则判定所述含最优模型参数的逻辑回归模型不符合要求，并返回步骤：通过迭代算法计算出逻辑回归模型的最优模型参数，训练出含最优模型参数的逻辑回归模型；

当所述AUC值大于所述预设AUC阈值时，则判定所述含最优模型参数的逻辑回归模型符合要求，训练出第一主题分类器。

4.如权利要求3所述的主题分类器的训练方法，其特征在于，所述根据所述TP，TN，FN和FP绘制ROC曲线，包括：

根据所述TP，TN，FN和FP计算出伪阳性率FPR和真阳性率TPR，对应的计算公式分别为FPR＝FP/(FP+TN)，TPR＝TP/(TP+FN)；

以所述FPR为横坐标，所述TPR为纵坐标，绘制ROC曲线。

5.如权利要求3所述的主题分类器的训练方法，其特征在于，所述主题分类器的训练方法还包括：

将所述第二哈希散列表代入所述第一主题分类器，得到所述测试样本属于对应话题的概率；

调整所述预设AUC阈值，并根据所述TP，FP和FN计算准确率p和召回率r；

当所述p小于或等于预设p阈值，或所述r小于或等于预设r阈值时，则返回步骤：调整所述预设AUC阈值，直至所述p大于所述预设p阈值，且所述r大于所述预设r阈值时，训练出第二主题分类器；

利用所述第二主题分类器对所述文本数据进行分类。