[发明专利]一种具有凭证识别功能的归一化方法

说明书

本发明涉及一种具有凭证识别功能的归一化方法，包括如下步骤：步骤1、建立模型性能与正确凭证之间的关系，利用仿射变换的分布调制，将仿射变换参数γ、β改变为凭证的函数；如果向目标模型输入不正确的凭证，生成的仿射变换参数也会不正确，使模型工作异常；学习另一组仿射变换参数γ₀、β₀，用于模型的原始任务；步骤2、在模型训练中引入凭证时，相应的统计量进行独立计算，包括两个分支，其中第二个分支作为凭证识别分支，对于全连接层后的归一化，第二个分支将计算自己的归一化统计量μ₁，σ₁，并分别学习基于凭证p_γ、p_β的仿射变换参数γ、β。该发明适用于所有现在流行的归一化方法，不改变模型使用阶段的网络结构；提出的可学习放射变换操作可以使模型验证阶段的性能相比使用阶段性能不会下降很多；该发明可以有效抵抗针对模型版权的混淆攻击。

技术领域

本发明涉及深度学习模型产权保护技术领域，具体涉及一种具有凭证识别功能的归一化方法。

背景技术

深度学习已经在各个领域取得了巨大的成功，诸如图像识别、目标检测、自然语言处理等。为了获得高性能的深度模型，往往需要设计一个好的网络架构，收集海量的高质量的训练数据，消耗昂贵的计算资源。因此，这些模型具有巨大的商业价值，甚至可能是一些公司的核心技术。然而，最近的研究表明，深度模型知识产权容易受到侵害。例如，攻击者可以利用迁移学习通过微调使目标模型适应新的任务，甚至可以通过模型压缩技术获得新的高效模型。所有这些攻击方法会严重侵犯原模型所有者的利益。近几年来，深度模型知识产权的保护受到了学术界和工业界的广泛关注，涌现了许多不错的工作和技术。这些工作的主要思想是对深度模型的权重或其输出添加一些特殊的水印，同时尽量保持模型原有任务的性能。具体来说，在目标损失中加入了一个权重正则化函数，使得学习的权重可以遵循某种特殊的分布，以此作为水印信息；或者加入特殊的图像触发集，约束模型将这些触发图像分类成一些预先定义好的标签。尽管这些深度模型版权保护的工作可以抵抗前面所提到的模型重训练或者模型压缩等侵权攻击，但是他们无法抵抗混淆攻击，即攻击者可以在从水印模型中逆向优化出另一个不同的水印宣称所有权，从而造成取证的困难。为解决混淆攻击的问题，已经有相关的算法提出，该算法基于正确的凭证信息对模型性能进行调制，达到只有出示正确凭证才能确保模型性能不下降的目的，从而抵抗混淆攻击。但是该算法有一个主要的局限性：它们需要通过替换原有的归一化方法，这样做即改变了模型结构，还会显著影响原始模型的性能，这些对于终端用户获得的模型服务质量都是不友好甚至有害的。

发明内容

本发明针对同样的混淆攻击问题，采用了类似的算法动机，但是要保证不修改网络结构改变，且模型性能下降更少。为此，本发明提出了新的具有凭证识别功能的归一化方法。它适用于几乎所有常用的模型归一化方法，只需要添加额外的凭证识别分支用于模型版权保护。在训练过程中，本发明预先设定一些秘密凭证，使额外的分支与目标模型联合训练。训练后，这些秘密凭证和用于凭证识别的分支将由模型所有者保存，以便将来进行所有权验证，只有原始的目标模型被分发给终端用户来使用。因此，从终端用户的角度来看，模型结构没有发生变化。而且，用于凭证识别的分支的归一化统计量(例如批归一化的均值和方差)是独立设计和独立计算的，因此对目标模型的性能影响更小。

当本发明怀疑某个模型是从目标模型非法派生时，本发明可以对该模型添加私有的凭证识别分支以进行所有权验证。更具体地说，添加完额外分支之后，目标模型的性能将只有在出示正确凭证的情况下才能保持几乎不变，而伪造的凭证会导致模型性能严重下架。

本发明的技术方案为：一种具有凭证识别功能的归一化方法，包括如下步骤：

步骤1、建立模型性能与正确凭证之间的关系，利用仿射变换的分布调制，将仿射变换参数γ、β改变为凭证的函数；如果向目标模型输入不正确的凭证，生成的仿射变换参数也会不正确，使模型工作异常；学习另一组仿射变换参数γ₀、β₀，用于模型的原始任务；