[发明专利]基于标签信息增强的文本分类方法和系统

说明书

本发明提供一种基于标签信息增强的文本分类方法和系统，涉及深度学习和自然语言理解技术领域。本发明通过对比学习实现了准确的表示输入文本与标签之间的相互影响，弥补了现有方法在标签表示以及文本与标签之间的相互影响建模方面存在的不足，实现对自然语言文本语义的准确表示，提高文本分类的准确性。

技术领域

本发明涉及深度学习和自然语言理解技术领域，具体涉及一种基于标签信息增强的文本分类方法和系统。

背景技术

文本分类是自然语言处理领域的一个十分重要的组成部分，是评价句子语义表征是否准确的一种常用方法。其主要用于对给定单个或多个句子进行分类。根据具体任务的不同，文本分类也有着不同的分类标准。例如情感分类主要用于判断给定句子的情感类别或者极性；复述识别主要用于判断给定的两个句子是否表达相同的语义。因此该任务关注的基础技术是如何对输入文本进行准确的语义表征。自然语言句子的语义表示是自然语言处理甚至人工智能领域一个基础但极其重要的研究内容，无论是基础的信息检索，语义抽取，还是复杂的问答系统，对话系统，都需要对输入句子的语义有一个全面准确的表示，这样才能保证机器理解人类复杂的语言系统。

根据对标签信息的不同利用方法，现有工作可大致分为两类：独热编码方式，主要关注于输入文本的编码，标签信息主要用于用作模型训练的监督信号。标签编码方式，该方法一方面关注于输入文本的建模，另一方面通过每个标签映射到与文本表示相同的语义空间，利用低维稠密的向量表示标签的语义信息，从而有助于建模输入文本和标签之间的复杂语义交互关系。这两类方法在文本分类任务上都取得了惊人的进步，后一种方法更是因能够充分利用标签所蕴涵的语义信息，实现更准确的建模而越来越受到大家的关注。

但现有的基于标签信息的文本分类方法仍存在一些问题，现有的基于编码的方法更多的关注于输入文本的表示，标签语义一般是作为文本语义建模的指导信息，而忽略了标签和输入文本之间的相互影响与复杂交互，导致现有的基于标签信息文本分类方法不能对自然语言文本语义进行准确的表示。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于标签信息增强的文本分类方法和系统，解决了现有方法忽略了标签和输入文本之间的相互影响与复杂交互的技术问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，本发明提供一种基于标签信息增强的文本分类方法，所述方法包括：

S1、获取输入文本的文本全局语义表示向量和文本局部语义表示矩阵；

S2、获取所述输入文本对应的标签的标签语义表示；

S3、基于所述文本全局语义表示向量、所述文本局部语义表示矩阵和标签语义表示，利用注意力机制获取文本监督的标签语义表征向量和标签监督的文本语义表征向量，将所述文本监督的标签语义表征向量和所述标签监督的文本语义表征向量通过第一多层感知机映射到对比学习空间，得到映射向量；

S4、通过第二带分类层的多层感知机对所述标签监督的语义表征向量进行处理，获取文本的分类结果；

S5、利用选择交叉熵损失函数和基于所述映射向量获取的对比损失函数作为优化目标，学习和优化步骤S1～S3中的参数。

优选的，所述S1具体包括：

使用统一的形式表示输入文本，将输入文本表示为一个词序列：X＝{x₁,x₂,…,x_n}，其中n表示文本序列的长度，x_i表示词序列中第i个词在词典V中对应的向量表示，将词序列的前部和后部加上符号CLS，接着将得到的表示输入到第一预训练模型中，该过程可以表示为：