[发明专利]一种渐进式的对抗训练方法及装置

说明书

本发明公开了一种渐进式的对抗训练方法，同时公开了一种渐进式的对抗训练装置。本发明通过计算对抗训练过程中近似局部最坏情况的扰动并叠加到当前训练的批数据，实现对抗噪声的多样性，并在迭代过程中更新模型参数，提高深度学习模型对抗噪声鲁棒性和自然噪声鲁棒性，同时也提升了深度学习模型的泛化能力，简单方便，易于应用。

技术领域

本发明涉及一种渐进式的对抗训练方法，同时涉及一种渐进式的对抗训练装置，属于机器学习技术领域。

背景技术

近年来，深度学习模型已经在许多任务中取得了显着的成功，包括计算机视觉，自然语言处理和语音识别等领域。它们的表现通常是通过使用足够干净的数据来训练到好的效果，然而，在现实世界的环境中，获取完全干净的没有任何噪音的数据通常是不切实际的，例如对抗样本噪音和自然噪音，它们已被证明对深度学习系统构成潜在威胁，特别是那些在安全关键环境中的部署。因此，深入了解深度神经网络的噪声鲁棒性至关重要。

在过去的几年里，研究者付出了巨大的努力来从攻击和防御的角度探索对抗噪声或对抗样本(Adversarial Examples)的模型鲁棒性。除了对抗样本的鲁棒性进展外，最近的研究发现需要提高模型对另一种常见噪声的鲁棒性，即在日常生活中出现的频率非常高的自然噪音，例如雨雪、聚焦模糊和数字处理噪音等。在现实世界的深度学习系统中，比如像高斯模糊和雨雪等对数据的污染比对抗样本更有可能遇到。业界专家发现，深度学习模型在输入具有高斯噪声的图像数据时表现不是很好。同样，深度学习模型在各种自然噪声下的效果都不是很理想，包括模糊，像素化和其他类型的噪音等。

在现实环境中存在的噪声已经引起了人们对深度学习模型鲁棒性的强烈关注。业界研究了从对抗样本到随机噪声的分类器的鲁棒性，并尝试从曲率约束的角度构建鲁棒模型，并发现了基于分布的鲁棒性和无约束鲁棒性之间的关系。最近，专家发现在某些分布变化下(即额外的高斯噪声)，对抗鲁棒性与自然噪声鲁棒性密切相关。尽管取得了很大的进展，但仍然存在待解决问题需要回答，以便深入理解模型的鲁棒性，比如对抗噪音和自然噪音之间的关系，以及如何针对这些噪音建立鲁棒模型。

发明内容

本发明所要解决的首要技术问题在于提供一种渐进式的对抗训练方法。

本发明所要解决的另一技术问题在于提供一种渐进式的对抗训练装置。

为实现上述目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种渐进式的对抗训练方法，包括如下步骤：

设定预定迭代次数，针对每组训练数据的每次迭代过程：

计算当前训练数据对应迭代过程的近似局部最优扰动；

将所述近似局部最优扰动加入当前训练数据，作为下一轮迭代过程的训练数据进行迭代。

其中较优地，所述计算当前训练数据对应迭代过程的近似局部最优扰动，具体包括：

针对被训练的深度学习模型：

计算深度学习模型的损失函数对于输入层神经元的梯度；

对梯度进行标准化，并结合动量，得到对应近似局部最优扰动。

其中较优地，当前近似局部最优扰动的计算公式为：

其中，l( )表示深度学习模型的损失函数，|| ||表示L2约束，ε代表目标扰动的总大小，k代表每批数据的迭代次数，β是动量的系数，s为当前训练数据，表示损失函数l( )对近似局部最优扰动的梯度，θ为模型的参数。

其中较优地，将所述近似局部最优扰动加入当前训练数据，具体包括：

将当前近似局部最优扰动加入当前训练数据的输入数据，得到下一轮训练数据的输入数据。