[发明专利]一种文本自动打标签方法及其装置和终端

权利要求书

1.一种文本自动打标签方法，其特征在于，包括以下步骤：

步骤S1，收集水务行业常用词语建立自定义行业字典，收集文本常用停用词建立停用词字典；

步骤S2，对爬虫爬取的HTML网页进行处理，去除无关内容，获取其中的文本数据再根据文本内容进行人工标注标签，再利用分词算法对文本数据进行分词预处理，分词过程中使用自定义行业字典对相关词进行保留，分词后使用停用词字典和正则对无关词进行去除，剩余词建立语料库；

步骤S3，利用自然语言相关技术对预处理后的词语训练词向量，并建立语料库和词向量索引对应的词向量库；

在获取训练集数据和测试集数据时，对每个文本进行分词处理后产生的词语去语料库中去获取索引，再根据索引去词向量库中获取对应的词向量，结合文本所有的词语获取的词向量建立每篇文本的文章向量，对文章向量集进行分割，形成训练集及测试集；

步骤S4，获取文章向量后，由于每篇文本的词语数量存在不一致情况，对每篇文章的文章向量就进行降至指定维度；

步骤S5，针对文本的标签较多，每个标签对应样本数据较少，即样本存在正负样本数量不平衡情况，采用采样算法处理正负样本不平衡问题，最终使每个标签的正负样本数据比例接近1∶1；

步骤S6，通过词向量训练集及测试集，对分类器模型进行训练和评估，即训练集数据和测试集数据处理完毕后，输入训练集数据到分类器模型中训练模型，并通过网格搜索、交叉验证方式对模型参数进行优化；

步骤S7，模型训练完毕后，使用测试集数据对模型进行测试，根据准确率、召回率结果最终确认分类器模型；

步骤S8，根据分类器模型对处理后的文本进行打标分类；

步骤S9，对测试过程中没有标签的文本，采用新的标签推荐算法模型推荐标签，通过专家验证后加入到标签体系中。

2.根据权利要求1所述的一种文本自动打标签方法，其特征在于，所述步骤S2和步骤S3中，将获取文本数据进行分词，去除停用词，保留自定义词典预处理方法进行预处理，利用自然语言技术中的BERT中文预训练模型训练词向量，结合文本所有的词语获取的词向量建立每篇文本的文章向量，对文章向量集进行分割，形成训练集及测试集。

3.根据权利要求1所述的一种文本自动打标签方法，其特征在于，所述步骤S5中，处理样本不平衡的采样算法包括SMOTE算法、BorderlineSMOTE算法、SVMSMOTE算法和ADASYN算法中的至少一种，并最终采用SVMSMOTE算法处理样本不平衡。

4.根据权利要求1所述的一种文本自动打标签方法，其特征在于，所述步骤S6中，根据处理后的文章向量训练分类器，对通过网格搜索、迭代方式对模型进行优化，通过K-Fold准确率确定分类模型。

5.根据权利要求1所述的一种文本自动打标签方法，其特征在于，所述步骤S9中，对测试过程中没有标签的文本采用TF-IDF标签推荐算法进行推荐，并通过水务领域专家验证来保证准确性。

6.根据权利要求5所述的一种文本自动打标签方法，其特征在于，所述TF-IDF标签推荐算法具体为：

对于没有打上标签的文本，使用TF-IDF算法模型提取文本的关键词，TF表示指定词在该文本中出现的次数，并进行归一化处理，IDF反映指定词在所有文本中出现的频率；

TF的计算公式如下：

其中，N_w是在某一文本中词语w出现的次数，N是该文本总词语数；

IDF的计算公式如下：

其中，Y是文本的总数量，Yw是包含词条的文档数，分母加一是为了避免未出现在任何文档中从而导致分母为0的情况；

TF-IDF_w就是将TF_w和IDF_w相乘：

TF-IDFw＝TFw*IDFw

将TF-IDF_w较大的关键词作为为文本的推荐标签，通过水务行业专家确认后加入标签体系或添加其他标签。