[发明专利]一种基于集成重建机制的对抗样本攻击的防御方法

摘要

本发明提供了一种基于集成重建机制的对抗样本攻击的防御方法，用于语言模型防御对抗样本攻击，包括以下步骤：步骤1，在语言模型的训练过程中，同时加入三个预定的损失函数来保持语言模型对于带噪声样本的重建能力；步骤2，对语言模型的输入样本注入不同的噪声，重建得到多个不同的重建样本，并对重建样本进行集成推理完成一次样本重建，并得到一个取平均值的模型置信度的打分，通过多次样本重建来防御对抗样本攻击，其中，损失函数包括模型下游任务的微调损失函数、预训练采用的MASK掩码预测损失以及基于梯度回传的重建原有字词的损失。