[发明专利]一种基于从文本中检测虚假问题的迁移学习方法

说明书

本发明属于检测网络虚假信息技术领域，具体涉及一种基于从文本中检测虚假问题的迁移学习方法。包括：数据集采集、数据预处理、模型训练、模型验证评估，所述数据集采集130万个问题文本及其相对应的标签作为训练集；数据预处理运用BertWordPiess标记器通过匹配单词与其内置的词汇表对输入序列进行标记；所述模型训练对BERT,RoBERTa,DistilBERT和ALBERT四种模型进行精细化调整，并使用ADAM优化函数和二进制交叉熵损失函数，将初始学习率设置为1e‑5；所述模型验证评估选取AUC评分和F1评分的指标对模型进行验证评估，本发明结合机器学习中的迁移学习思想，培训模型自主进行虚假信息的分类，在虚假信息进入网络进行传播之前进行了有效识别以便后续的信息阻截和网络环境优化。

技术领域

本发明属于检测网络虚假信息技术领域，具体涉及一种基于从文本中检测虚假问题的迁移学习方法。

背景技术

如今的互联网已经成为日常生活中最重要的信息来源，但是网络上出现的恶意评论和虚假信息的情况也变得日益严重，目前面对互联网中出现的恶意评论和虚假信息的情况，比较直接有效的解决方式是事先发现这些内容，并防止其在网络上传播，之前的技术水平无法实现这一目标，但随着BERT模型在自然语言处理领域的提出，相关方面的迁移学习有望解决这一问题。

发明内容

为了克服现有技术中存在的不足，提供一种在虚假信息进入网络进行传播之前进行有效识别且对虚假信息自主分类基于从文本中检测虚假问题的迁移学习方法

为了解决上述技术问题，本发明采用的技术方案为：

一种基于从文本中检测虚假问题的迁移学习方法，包括下列步骤；

S100、数据集采集：采集130万个问题文本及其相对应的标签作为训练集，然后将真诚的文本标记为0，虚假的文本标记为1；

S200、数据预处理：运用BertWordPiess标记器通过匹配单词与其内置的词汇表对输入序列进行标记，并对单个单词进行分段，直到在词汇表中找不到，并用#完成分段部分；

S300、模型训练：对BERT，RoBERTa，DistilBERT和ALBERT四种模型进行精细化调整，并使用ADAM优化函数和二进制交叉熵损失函数，将初始学习率设置为1e-5；

S400、模型验证评估：选取AUC评分和F1评分的指标对模型进行验证评估。

进一步的，所述S200数据预处理中，保持每个文本的长度相同，使用192的序列长度，将大于192的序列长度截断，然后将较小的序列长度填充为零，最后对序列进行分块。

进一步的，所述S300模型训练中，运用BERTBase模型和BERTLarge模型两种BERT模型对模型进行从左到右或从右到左的训练，同时使用遮掩语言建模和下文预测两个非监督任务。

进一步的，所述S300模型训练中，让模型根据上下文预测遮掩词，并在每个序列中任意隐藏15％的标记，然后掩码符号取代其中的80％，随机替换其中的10％，剩下的10％保持不变，最后将与掩码标记类似的最后隐藏向量分解为词汇表上的输出Softmax函数。

进一步的，所述S300模型训练中，将训练过程中选择的两个句子中的第二句跟随前50％的时间，将其标记为IsNext，然后用语料库的随机句子取代其余的时间，将其标记为NotNext。

进一步的，所述S300模型训练中，通过RoBERTa模型运用添加额外训练数据、动态遮掩模块、删除下一句预测目标和大批培训的方式优化稳健BERT模型。

进一步的，所述S300模型训练中，通过DistilBERT模型运用知识蒸馏法对一个较小的通用语言模型进行预训练。