[发明专利]一种融合词根词缀和音标的蒙古语预训练情感分析方法

说明书

一种融合词根词缀和音标的蒙古语预训练情感分析方法，对蒙古语语料进行预处理；构建蒙古语BERT预训练模型，其中，在其嵌入层构造词嵌入、词根嵌入、词缀嵌入和音标嵌入；将所述嵌入进行拼接后得到融合嵌入，然后再将融合嵌入与位置嵌入相加，形成模型输入；在蒙古语BERT预训练模型中，将对比学习和MLM的融合任务进行预训练；对蒙古语情感语料进行预处理；用训练好的融合词根词缀和音标的蒙古语BERT预训练模型对蒙古语情感语料进行情感分析。本发明采用融合词根词缀和音标对BERT模型进行预训练，另外，将对比学习的方法融入到MLM任务中，通过对比学习来实现数据增强，从而提高模型的准确率和情感分析的准确性。

技术领域

本发明属于人工智能技术领域，特别涉及一种融合词根词缀和音标的蒙古语预训练情感分析方法。

背景技术

文本情感分析又称意见挖掘，是指对带有情感色彩的主观性文本进行分析，挖掘其中蕴含的情感倾向，对情感态度进行划分。文本情感分析作为自然语言处理的研究热点，在舆情分析、用户画像和推荐系统中有很大的研究意义。

由于蒙古语属于小语种语言，这使得有关蒙古语的自然语言处理研究起步较晚，并且蒙古语情感分析的研究进展相对缓慢。目前基于深度学习的情感分析方法都需要大量的语料数据做驱动，蒙古语情感语料目前处于匮乏阶段，如何缓解资源不足的问题已经成为蒙古语情感分析的一个重要的研究课题。

最新的基于深度学习的情感分析方法大多基于对预训练模型的微调来实现更好的情感分析效果，由于BERT等预训练模式最初为英文设计，但是蒙古语属于黏着语，与英语的构词方法不同，因此通过对BERT模型微调进行蒙古语的情感分析效果很差。

那么，对蒙古语语料进行数据增强的同时，再结合蒙古语的语言特点，利用蒙古语单语语料通过对BERT模型进行预训练，从而提升下游情感分析任务的准确率是一个亟待解决的问题。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种融合词根词缀和音标的蒙古语预训练情感分析方法，采用融合词根词缀和音标对BERT模型进行预训练，另外，将对比学习的方法融入到MLM任务中，通过对比学习来实现数据增强，从而提高模型的准确率，进而也可以提高情感分析的准确性。

为了实现上述目的，本发明采用的技术方案是：

一种融合词根词缀和音标的蒙古语预训练情感分析方法，包括如下步骤：

步骤1，对蒙古语语料进行预处理；

步骤2，构建蒙古语BERT预训练模型，其中，在其嵌入层构造词嵌入、词根嵌入、词缀嵌入和音标嵌入；将所述嵌入进行拼接后得到融合嵌入，然后再将融合嵌入与位置嵌入相加，形成模型输入；

步骤3，在所述蒙古语BERT预训练模型中，将对比学习和MLM的融合任务进行预训练；

步骤4，对蒙古语情感语料进行预处理；

步骤5，用训练好的融合词根词缀和音标的蒙古语BERT预训练模型对蒙古语情感语料进行情感分析。

与现有技术相比，本发明的有益效果是：

本发明利用蒙古语自身的语言特点，融合蒙古语的词根、词缀和音标设计了一款专属蒙古语的BERT预训练模型，在模型的预训练任务中加入对比学习来进行数据增强，这样的设计不仅缓解了蒙古语数据匮乏的问题，而且有效的提高了蒙古语情感分析任务的准确率；同样，该模型也可以应用到其他蒙古语的自然语言处理任务中，这有助于提高机器翻译、句子语义相似度等任务的准确率；再次，本发明也可以为其他小语种语言提供模型参考。

附图说明

图1是本发明整体流程示意图。

图2是本发明模型预训练流程示意图。

图3是本发明情感分析流程示意图。