[发明专利]一种文本自动打标签方法及其装置和终端

说明书

本发明提供的一种文本自动打标签方法及其装置和终端，包括训练集生成模块、分类器模型训练模块、模型确定模块和打标签分类模块；训练集生成模块用于对爬虫爬取的HTML网页处理成分词数据，训练词向量再组成各文章的文章向量、及处理至指定维度；分类器模型训练模块，通过对模型参数的优化来提升模型打标签分类的准确性；模型确定模块，用于根据训练结果确定分类模型；打标签分类模块，用于根据确定的分类模型对目标数据打标签；填补了目前水务领域没有合适的对文本打标签算法模型的空缺，解放对大量人工资源的消耗，提高打标签的准确率，并且通过标签推荐算法模型对新标签的生成和标签体系的完善提供重要参考，推动整个标签系统运转。

【技术领域】

本发明涉及文本分类领域，尤其是一种文本自动打标签方法及其装置和终端。

【背景技术】

近年来，随着互联网的高速发展，尤其是移动互联网时代的到来，人类进入大数据时代，每天都会产生海量的数据，因此对海量数据进行分析、获取有价值的信息已成为学术界和工业界共同关心的热点。作为海量数据的主要外在形式，文本相关的处理技术受到了人们的极大关注，文本分类技术也进入了一个新的发展阶段。

尤其在水务领域中，水务公司通过数据处理、词向量计算和分类器训练优化技术对日常数据处理过程中，文本标签是水务公司在做文本分类、储存及根据水司具体需求进行个性化推荐文章的重要依据，目前市面上的技术框架，由于领域差异对水务领域文本打的标签准确率较低，没有适应的算法模型用于水务领域，造成现阶段水务领域基本是靠人工打标签的，而人工打标签高度依赖于知识和经验，而且效率低下。

【发明内容】

本发明提供一种适应于水务领域、有效提高水务领域文本分类的准确率，通过专家验证保证准确性的文本自动打标签方法及其装置和终端。

为达到上述明目的，采用的技术方案如下：

一种文本自动打标签方法，包括以下步骤：

步骤S1，收集水务行业常用词语建立自定义行业字典，收集文本常用停用词建立停用词字典；

步骤S2，对爬虫爬取的HTML网页进行处理，去除无关内容，获取其中的文本数据，再利用分词算法对文本数据进行分词预处理，分词过程中使用自定义行业字典对相关词进行保留，分词后使用停用词字典和正则对无关词进行去除，剩余词建立语料库；

步骤S3，利用自然语言相关技术对预处理后的词语训练词向量，并建立语料库和词向量索引对应的词向量库；

在获取训练集数据和测试集数据时，对每个文本进行分词处理后产生的词语去语料库中去获取索引，再根据索引去词向量库中获取对应的词向量，结合文本所有的词语获取的词向量建立每篇文本的文章向量，对文章向量集进行分割，形成训练集及测试集；

步骤S4，获取文章向量后，由于每篇文本的词语数量存在不一致情况，对每篇文章的文章向量就进行降至指定维度；

步骤S5，针对文本的标签较多，每个标签对应样本数据较少，即样本存在正负样本数量不平衡情况，采用采样算法处理正负样本不平衡问题，最终使每个标签的正负样本数据比例接近1∶1；

步骤S6，通过词向量训练集及测试集、对分类器模型进行训练和评估，即训练集数据和测试集数据处理完毕后，输入训练集数据到分类器模型中训练模型，并通过网格搜索、交叉验证方式对模型参数进行优化；

步骤S7，模型训练完毕后，使用测试集数据对模型进行测试，根据准确率、召回率结果最终确认分类器模型；

步骤S8，根据分类器模型对处理后的文本进行打标分类；

步骤S9，对测试过程中没有标签的文本，采用新的标签推荐算法模型推荐标签，通过专家验证后加入到标签体系中。