[发明专利]一种基于从文本中检测虚假问题的迁移学习方法

权利要求书

1.一种基于从文本中检测虚假问题的迁移学习方法，其特征在于：包括下列步骤；

S100、数据集采集：采集130万个问题文本及其相对应的标签作为训练集，然后将真诚的文本标记为0，虚假的文本标记为1；

S200、数据预处理：运用BertWordPiess标记器通过匹配单词与其内置的词汇表对输入序列进行标记，并对单个单词进行分段，直到在词汇表中找不到，并用#完成分段部分；

S300、模型训练：对BERT，RoBERTa，DistilBERT和ALBERT四种模型进行精细化调整，并使用ADAM优化函数和二进制交叉熵损失函数，将初始学习率设置为1e-5；

S400、模型验证评估：选取AUC评分和F1评分的指标对模型进行验证评估。

2.根据权利要求1所述的一种基于从文本中检测虚假问题的迁移学习方法，其特征在于：所述S200数据预处理中，保持每个文本的长度相同，使用192的序列长度，将大于192的序列长度截断，然后将较小的序列长度填充为零，最后对序列进行分块。

3.根据权利要求1所述的一种基于从文本中检测虚假问题的迁移学习方法，其特征在于：所述S300模型训练中，运用BERTBase模型和BERTLarge模型两种BERT模型对模型进行从左到右或从右到左的训练，同时使用遮掩语言建模和下文预测两个非监督任务。

4.根据权利要求3所述的一种基于从文本中检测虚假问题的迁移学习方法，其特征在于：所述S300模型训练中，让模型根据上下文预测遮掩词，并在每个序列中任意隐藏15％的标记，然后掩码符号取代其中的80％，随机替换其中的10％，剩下的10％保持不变，最后将与掩码标记类似的最后隐藏向量分解为词汇表上的输出Softmax函数。

5.根据权利要求4所述的一种基于从文本中检测虚假问题的迁移学习方法，其特征在于：所述S300模型训练中，将训练过程中选择的两个句子中的第二句跟随前50％的时间，将其标记为IsNext，然后用语料库的随机句子取代其余的时间，将其标记为NotNext。

6.根据权利要求1所述的一种基于从文本中检测虚假问题的迁移学习方法，其特征在于：所述S300模型训练中，通过RoBERTa模型运用添加额外训练数据、动态遮掩模块、删除下一句预测目标和大批培训的方式优化稳健BERT模型。

7.根据权利要求1所述的一种基于从文本中检测虚假问题的迁移学习方法，其特征在于：所述S300模型训练中，通过DistilBERT模型运用知识蒸馏法对一个较小的通用语言模型进行预训练。

8.根据权利要求1所述的一种基于从文本中检测虚假问题的迁移学习方法，其特征在于：所述S300模型训练中，通过ALBERT模型运用分解嵌入参数化方法和跨层参数共享的方法将参数降到原来模型的1/10。