[发明专利]一种并行化的电力设备缺陷文本分类方法

权利要求书

1.一种并行化的电力设备缺陷文本分类方法，其特征是：包括以下步骤：

(1)将领域词库加入到用户词典中，对缺陷案例进行预处理，进行分词和去停用词；

(2)利用爬虫算法，收集电网故障案例的文本语料，利用Spark的word2vec进行训练，获取该领域的词向量表示；

(3)将步骤(1)得到的原始缺陷案例中的词语转化为步骤(2)对应的词向量，并将案例数据进行文本表示，构成矩阵的形式；

(4)将矩阵输入到SVM多分类器中，进行训练与分类，得到分类结果。

2.如权利要求1所述的一种并行化的电力设备缺陷文本分类方法，其特征是：所述步骤(1)和步骤(2)的顺序互换。

3.如权利要求1所述的一种并行化的电力设备缺陷文本分类方法，其特征是：所述步骤(1)中，进行分词的处理方法为：将文本数据从HDFS上读取到程序的数据结构中，每一行为一条文本数据，存储的数据结构为RDD[String]形式。

4.如权利要求3所述的一种并行化的电力设备缺陷文本分类方法，其特征是：将领域词库导入到ansj的用户词库中，调用ansj中的Library.makeForest接口将领域词典导入，将分词词库进行补全，得到完整词库，作为分词的依据；利用Spark的map操作对于每一个语料进行分词处理，采用精准分词，即调用ansj中的ToAnalysis.parse接口，利用map算子对于每一条语句同时并行地进行分词处理。

5.如权利要求1所述的一种并行化的电力设备缺陷文本分类方法，其特征是：所述步骤(1)中，进行停用词的处理方法为：将停用词表从HDFS上导入到程序的数据结构中，原始输入为每一行为一个停用词的格式，存储的数据结构为RDD[String]形式；利用Spark的map算子对于每一个分完词的结果进行去停用词操作，比照划分得到的每一个词语，凡是在停用词集合中的过滤掉，同时利用map算子对于每一条文本同时地进行停用词过滤；将结果整理成RDD[Array[String]]格式，每一行为一个案例的处理结果，每条结果的格式为若干词语，中间用空格的形式隔开，将处理好的结果存储在数据结构中，并以txt格式输出到HDFS上。

6.如权利要求1所述的一种并行化的电力设备缺陷文本分类方法，其特征是：所述步骤(2)中，利用爬虫手段，收集该领域的大量文本，作为领域词向量训练语料的一部分，将收集的外部数据和待分析的缺陷案例进行合并，构成训练语料，进行分词和停用词的预处理，调用Spark的word2vec算法包，利用word2Vec.fit算子将上一步的结果输入到word2vec模型中进行词向量的训练，并通过model.getVectors算子获取训练得到的词向量结果，将待分析的案例文本从HDFS上读入到数据结构中，对于案例中的词语用训练好的相应的向量进行替换。

7.如权利要求6所述的一种并行化的电力设备缺陷文本分类方法，其特征是：将每一篇案例的若干词语的向量结果求均值，作为该案例的整体特征，对计算得到的结果进行整理，每一行对应一个案例的特征，每行的格式为“Dj紧急程度类别标记”，并以txt的格式输出到HDFS上。

8.如权利要求1所述的一种并行化的电力设备缺陷文本分类方法，其特征是：所述步骤(3)中，将文本特征数据导入到数据结构中，将案例数据进行训练集和测试集的切分，设置迭代次数，采用随机梯度下降法进行模型的构建，利用训练集训练模型，利用准确率或召回率进行训练结果的评估，如果评估结果不符合设定条件，重新调整迭代参数和模型参数，直到输出结果符合设定条件。

9.如权利要求1所述的一种并行化的电力设备缺陷文本分类方法，其特征是：所述步骤(4)中，对SVM算法进行改进，使其能够应对多分类的场景，具体改进方法为：

(4-1)将原始案例数据按照每一类紧急类别进行划分，并将划分得到的子数据集进行两两组合，构成新的组合数据集；

(4-2)将原始数据训练集中的每一个组合数据集输入到Spark的SVM二分类工具包中，进行模型的训练；

(4-2)将测试集中的数据分别输入到三个训练完毕的SVM二分类器中进行类别的判断，每个分类器通过分类结果进行投票，经过三个分类器后，将投票结果相加，得到最终的分类结果。