[发明专利]基于生成式对抗网络实现文本分类数据集扩展方法

权利要求书

1.一种基于生成式对抗网络实现文本分类数据集扩展方法，其特征在于，包括以下步骤：

1)将文本数据集转化为词向量表示；

获取待扩展的文本分类数据集，对数据集中的文本进行特征词提取，将特征词用特征向量表示，获取特征词的词向量矩阵；

2)利用生成式对抗网络生成文本数据扩展数据集，将步骤1)获得的特征词词向量矩阵作为生成式对抗网络的输入，输出生成的文本数据，获得扩展数据集；

2.1)将步骤1)得到的词向量矩阵作为生成式对抗网络的输入，经训练后输出设定数目的模拟数据，输出格式为词向量矩阵；

2.2)将待扩展的文本分类数据与经数据扩展得到的扩展数据合并为新的数据，经过生成式对抗网络得到词向量表现形式的矩阵，即是模拟的该类别下的扩展数据，将原始数据与扩展数据合并，即能满足需要的数据量要求。

2.根据权利要求1所述的基于生成式对抗网络实现文本分类数据集扩展方法，其特征在于，所述步骤2.1)中生成式对抗网络如下：

代价函数：

可微分函数D表示判别器，G表示生成器,判别器输入为真实数据x，生成器的输入为随机变量z，G(z)则为由G生成的尽量服从真实数据分布pdata的样本；这里D的目标是实现对数据来源的二分类判别:真，若来源于真实数据x的分布；或者伪，若来源于生成器的伪数据G(z)；而G的目标是使自己生成的伪数据G(z)在D上的表现D(G(z))和真实数据x在D上的表现D(x)一致,这两个相互对抗并迭代优化的过程使得D和G的性能不断提升,当最终D的判别能力提升到一定程度,并且无法正确判别数据来源时,认为这个生成器G已经学到了真实数据的分布，用于生成模拟数据。

3.根据权利要求1所述的基于生成式对抗网络实现文本分类数据集扩展方法，其特征在于，所述步骤1)中对数据集中的文本进行特征词提取，将特征词替换成词向量表示，获取特征词词向量矩阵的方法具体如下：

步骤1.1)对数据进行预处理，所述预处理包括：去掉链接、标点符号和停用词以及分词处理；

步骤1.2)使用维基百科中文语料库，利用FastText开源工具训练word2vec词向量；

步骤1.3)基于TF-IDF，对获取的所有微博数据进行特征值提取；

步骤1.4)基于TF-IDF，计算每一条数据的TFIDF矩阵；

步骤1.5)对每一条数据的TFIDF矩阵进行检查，如果某个特征词的TFIDF值为0，基于词向量提取特征词相似度高于85％的相近词，相近词按照相似度排列的集合为(C₁，C2…Ck)，依据相似度从高到低计算其TFIDF值，使用相似度最高且TFIDF值不为0的相近词替换该特征词，如果所有相近词TFIDF值都为0，就用0向量替换。如果某个特征词的TFIDF值不为0，则不用替换该特征词；

步骤1.6)将每一个特征值换成词向量表示，形成一个由词向量组成的矩阵。

4.根据权利要求1所述的基于生成式对抗网络实现文本分类数据集扩展方法，其特征在于，所述步骤1)中获取待扩展的文本分类数据集的具体步骤如下：

统计分类问题中各个类别数据集数量，获得数据集较少的类别作为待扩展的文本分类数据集的类别；

针对研究问题，确定所有数据集类别；

对每个类别数据数量进行统计,获得统计后的数据量较小的类别。