[发明专利]基于Spark的并行化随机标签子集多标签文本分类方法

摘要

本发明请求保护一种基于Spark大数据平台的并行化随机标签子集多标签文本分类方法。首先,读取大规模文本数据集和配置信息文件，创建分布式数据集RDD，将训练数据集和预测数据集缓存到内存中，完成初始化操作。其次，并行地随机生成规定数目的标签子集，由原始训练集为每一个标签子集生成一个新的训练集，再次，将新训练集的多个标签通过标签幂集法转换为单个标签，该数据集转化为一个单标签多类数据集，并行地为这些数据集训练一个基分类器。然后，进行预测将得到的单标签多类预测结果转化为多标签结果。最后，将所有预测结果进行汇总投票，得到测试集最终的多标签预测结果。本发明提高了分类的精度、大幅降低处理大规模多标签数据的学习时间。

主权项

一种基于Spark的并行化随机标签子集多标签文本分类方法，其特征在于，包括以下步骤：首先,从HDFS上获取来自互联网的大规模文本数据集和配置信息文件，所述大规模文本数据集包括训练数据集和预测数据集，通过Spark API提供的textFile方法将训练数据集、预测数据集、配置信息文件转换成Spark平台的分布式数据集RDD，完成初始化操作；其次，并行地随机生成规定数目的标签子集，由原始训练集为每一个标签子集生成一个新的训练集，该训练集特征为原始训练集的全部特征，新训练集中的标签仅保留对应标签子集中包含的标签；再次，对于每一个新生成的训练集，将训练集的多个标签通过标签幂集法转换为单个标签，将新生成的训练集转化为一个单标签多类数据集，并行地为这些数据集训练一个基分类器；然后，使用训练好的基分类器形成预测模型对测试集进行预测，将得到的单标签多类预测结果转化为多标签结果；最后，将所有预测结果进行汇总投票，得到测试集最终的多标签预测结果，完成文本分类。