[发明专利]基于混合对比学习和生成式数据增强的零样本文本立场检测方法

说明书

基于混合对比学习和生成式数据增强的零样本文本立场检测方法，本发明涉及零样本文本立场检测方法。本发明的目的是为了解决在结构化数据生成文本上，现有模型对表格数据进行建模时，没有考虑数据之间的内在隐含关系，导致文本生成准确率低的问题。过程为：一、获取可见类样本数据和不可见类样本数据；可见类样本数据和不可见类样本数据均为带标签数据；可见类样本数据和不可见类样本数据的目标不同；可见类样本数据作为训练集；不可见类样本数据作为测试集；训练集和测试集包括目标、立场、真实文本；二、建立GDA‑CL模型，模型包括：文本生成层、对比学习层、立场分类层。本发明用于人工智能、自然语言处理、文本生成技术领域。

技术领域

本发明属于新闻、医疗、军事、农业实体识别领域，具体涉及零样本文本立场检测方法。

背景技术

随着在社交媒体网站、新闻门户网站和论坛等渠道广泛流行，人们可以自由方便地发表言论，这些观点和意见深刻且真实的反映着关乎民众利益的民众生活社会生产、关系民众情感意志的主观社会政治态度，对于民意调查，市场趋势分析，推荐系统，给以用户个性化推荐，公共卫生监测，信息检索，谣言检测等研究领域具有重要的意义。同时从自然语言文本中自动获取语义信息一直都是一个重要的研究问题并且具有许多实际应用领域，可以解决诸如情感分析、讽刺、争议、反言、谣言、假新闻检测和论点挖掘等满足实际需求的问题。近年来，在文本立场检测研究领域，预训练语言模型(例如BERT、GPT、XLNet、RoBERTa、ALBERT、T5和ERNIE)的使用显著提升了自然语言处理任务的表现，但由于大部分研究针对于特定目标的单目标文本立场检测或者针对于两个相关目标的跨目标文本立场检测，这些研究往往需要为特定目标提供大量的标注数据来微调预训练模型，而在实际应用场景中很难获得大量的特定目标的标注数据。那么，为了贴合社会媒体中复杂应用场景的需求，如何解决零样本场景下文本立场检测任务，成为了摆在我们前面的不可逾越的重大研究课题。

以往的立场检测研究主要集中在针对特定目标的立场检测，其中设定为训练阶段和推理阶段使用相同的目标集。随后在进一步的研究中，一个类似于零样本文本立场检测的任务是跨目标立场检测，其中分类器的学习任务是根据对已知目标的训练来适应看不见但相关的目标。现有的跨目标立场检测研究通常使用基于注意力的模型或基于图神经网络的模型来学习一个投影，旨在将与目标相关的立场特征从特定的训练目标转移到适应相关的测试目标上实现领域迁移。与跨目标立场检测不同，零样本立场检测的目标是自动识别以前未看到的目标的立场，这是对模型推广到现实场景中新兴目标的能力的一个更准确的评估。

为了处理零样本立场检测，提出了一个大规模的专家注释的推特立场检测数据集，其中每个测试目标对训练集都是未知的。Allaway和McKeown创建了一个零样本立场检测数据集，涵盖了广泛目标的大量标注数据，并提出了一个基于目标聚类分组的注意力模型，通过使用广义地主题表示来隐式地捕获目标之间的关系。将一个特定目标的立场检测数据集SemT6应用于零样本立场检测，并应用了对抗学习来提取零样本立场检测中的不同目标间的不变特征。此外，为了同时利用不同目标之间关系的结构级和语义级信息，提出了一种基于BERT的基于常识性知识图谱的图卷积网络模型来处理零样本立场检测任务。

零样本学习的目标是通过共享的语义空间将模型从可见类转移到不可见类，在共享的语义空间中，存在可见类和不可见类的语义描述。早期的零样本学习主要通过在嵌入空间中搜索最近的语义描述符来实现传统的零样本学习。基于嵌入的方法的主要目标是使用通过投影函数将特征和语义属性映射到一个公共的嵌入空间，该投影函数是使用深度网络学习的。共同的嵌入空间可以是视觉特征空间、语义空间或重新学习的中介空间，并且大多数基于嵌入的方法都直接使用语义空间作为公共嵌入空间。在训练期间，目标是使用来自已知类的数据学习从特征空间到语义空间的投影函数。由于神经网络可以用作函数逼近器，因此投影函数自然可以选用深度网络来学习。在测试阶段，将未知类图像特征输入到前面训练好的网络里，获得相应的语义嵌入。然后在语义属性空间中进行最近邻搜索，以找到与网络输出最接近的匹配项。最后，将与最接近的语义嵌入相对应的标签预测为输入特征的输出标签。