[发明专利]基于相似度保持的知识蒸馏的立场检测方法

说明书

基于相似度保持的知识蒸馏的立场检测方法，属于文本情感检测技术领域。为了解决现有的立场检测方法存在计算资源和计算时间开销大的问题，以及现有的方法存在识别准确率有待于提高的问题。本发明利用Text‑CNN网络模型对待检测立场文本进行立场检测；基于知识蒸馏的方式确定Text‑CNN网络，即使用BERT模型作为教师模型，将从教师模型中学习到的隐性知识引入到学生模型文本中；并在传统的知识蒸馏方式的基础上提出了基于相似度保持的损失函数，进一步提高基于知识蒸馏方式得到学生模型的性能。主要用于文本的立场检测。

技术领域

本发明涉及一种基于文本的立场检测方法，属于文本情感检测技术领域。

背景技术

随着主流社交媒体的日益普及，人们可以通过在线网站，以产品评论、博客、推特和微博的形式，随时表达自己对几乎一切事物的态度。近年来，自动立场检测因其广泛的应用而受到广泛关注，特别是在社交媒体分析、论据挖掘、真相发现和谣言检测等领域。立场检测是文本观点挖掘的一个基础研究，通常有两个关键输入：(1)目标，(2)作者的帖子或评论。给定两个输入，立场检测的目的是分析对文本中表达的特定目标的立场趋势，例如“赞成、反对或中立”。目标可以是事件、政策、社会现象或产品。

到目前为止，已经有大量立场检测相关的文献被发表，立场检测本质上是一项文本分类的任务，在传统的机器学习模型中，如逻辑回归、朴素贝叶斯、决策树和支持向量机，使用目标文本和用户文本中的信息作为特征。在一些先进的工作中，深度神经网络模型，如卷积神经网络(CNN)、递归神经网络、长短时记忆网络(LSTM)学习目标和文本的表征，然后根据表征进行文本分类。在过去的两年中，诸如BERT、GPT和XLNet等语言预训练模式取得了显著的进展。通过对未标记语料库的预训练和对标记语料库的微调，BERT类模型在许多自然语言处理任务中取得了最先进的性能。其中，BERT因其有效性和通用性而成为各种NLP模型的重要部分。但是，由于模型规模大，实际应用需要大量的计算资源，时间开销大。

发明内容

本发明是为了解决现有的立场检测方法存在计算资源和计算时间开销大的问题，以及现有的方法存在识别准确率有待于提高的问题。

基于相似度保持的知识蒸馏的立场检测方法，包括以下步骤：

获取待检测立场文本，利用Text-CNN网络模型进行立场检测；所述Text-CNN网络模型的确定过程包括以下步骤：

基于知识蒸馏的方式确定Text-CNN网络，知识蒸馏中的“Teacher”模型为BERT模型，“Student”模型为Text-CNN网络模型；

同时将实例数据集中实例对应的目标和文本输入到“Teacher”模型，使用BERT模型来获得soft label，并将其传递给Text-CNN；

所述知识蒸馏的方式中使用的损失函数如下：

L_KD＝γL_{Classic_KD}+(1-γ)L_{SP_KD}(G_T，G_S)

其中，L_Classic-KD为现有的知识蒸馏的方式中的蒸馏损失，L_{SP_KD}(G_T，G_S)为相似保持损失函数，γ为超参数；

所述相似度保持损失函数的确定过程如下：

在知识蒸馏的过程中，给定一个输入的mini-batch，定义为“Teacher”模型在l层上产生的激活映射，为“Student”模型在l层上产生的激活映射，其中b为batch大小，h为空间维数；

给定b个文本的输入的mini-batch，“Teacher”模型和“Student”模型模型各取mini-batch，一个计算b*h的激活映射，一个计算b*h’的激活映射，进行reshape后得到和