[发明专利]基于小样本学习实现多语言混合短文本分类处理的系统、方法、装置、存储器及其存储介质

说明书

本发明涉及一种基于小样本学习实现多语言混合短文本分类处理的系统，其中，该系统包括数据采集模块，用于将少量预设标签样本输入至该系统；数据预处理模块，用于对所述的预设标签样本进行数据预处理；模型计算处理模块，用于进行关键特征提取，并生成相应的模型准确率计算结果；模型生成及输出模块，用于预测出当前文本数据的模型预测结果，并通过对所述的模型预测结果的抽样审核处理，进一步更新迭代该输出模型。本发明还涉及一种相应的方法、装置、处理器及其存储介质。采用了本发明的该系统、方法、装置、处理器及其存储介质，利用小样本学习较省时省力的完成对大规模数据潜在信息的挖掘，有效获取构词信息及词互相关信息，具有较大的创新性。

技术领域

本发明涉及深度学习技术领域，尤其涉及自然语言处理技术领域，具体是指一种基于小样本学习实现多语言混合短文本分类处理的系统、方法、装置、存储器及其计算机可读存储介质。

背景技术

文本分类是对文本分配标签的任务，是自然语言处理中重要且基础的任务之一，其有利支撑许多下游任务，如情感分类、主题抽取等。对发文平台的价值信息挖掘离不开关键的文本分类技术。发文多属于短文本，且存在句子较短、多语言、内容多样性、非正式性、语法错误、流行语、俚语等特点，因此需要一种有效的文本分类技术可以解决具有多种语言混合的短文本分类。

传统的文本分类算法较多关注文本的线性表达，例如采用词典或n-gram词向量作为输入的支持向量机模型。近些年的研究表明，非线性模型可以有效捕获文本上下文信息，可以产生比线性模型更精准的预测。卷积神经网络模型是一种典型的非线性模型，它将数据的局部特征转换成低维向量，并保留了与任务相关的信息。这种有效的映射方式在短文本上的表现要比序列模型更优秀。

卷积神经网络采用最大池化获取数据区域特征信息，在计算时只保留区域数值最大的特征。随着卷积层数的增多，会逐渐丢失目标相关的定位信息。文本区域可以表达更复杂的概念，这种仅依靠提取特征区域最大化来提取区域中最显著的特征信息的学习方式忽略了其它有用的信息。另外，网络层之间的耦合连接会增加模型的冗余。

除模型的性能外，数据特征的质量对下游任务的结果也有着较大的影响。面对多语言混合的短文本，现有的模型，如Multi-lingual Bert和LASER等多语言模型无法较好的在同一特征空间表征不同语言的特征。导致多语言之间不能在同一特征空间表征计算，出现了语义偏差的现象。

注意力机制是一种有效关注模型输入数据中关键信息的方法。注意力模型不仅在训练过程中特别关注特征信息，而且针对不同的特征有效调整神经网络的参数，可以挖掘更多的隐藏特征信息。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够有效获取构词信息及词互相关信息的基于小样本学习实现多语言混合短文本分类处理的系统、方法、装置、存储器及其计算机可读存储介质。

为了实现上述目的，本发明的基于小样本学习实现多语言混合短文本分类处理的系统、方法、装置、存储器及其计算机可读存储介质如下：

该基于小样本学习实现多语言混合短文本分类处理的系统，其主要特点是，所述的系统包括：

数据采集模块，用于将少量预设标签样本输入至该系统；

数据预处理模块，与所述的数据采集模块相连接，用于对所述的预设标签样本进行数据集划分、数据清洗以及批量处理操作；

模型计算处理模块，与所述的数据预处理模块相连接，用于根据预处理后获取的文本数据进行关键特征提取，并生成相应的模型准确率计算结果；以及

模型生成及输出模块，与所述的模型计算处理模块相连接，用于根据所述的模型准确率计算结果预测出当前文本数据的模型预测结果，并通过对所述的模型预测结果的抽样审核处理，进一步更新迭代该输出模型。

较佳地，所述的模型计算处理模块具体包括：