[发明专利]神经网络加水印

说明书

本文公开了一种用于训练神经网络并在神经网络中嵌入水印的方法。水印用于证明神经网络的所有权。神经网络包括与多个网络节点相关的多个可训练参数。该方法包括：将多个可训练参数分成第一可训练参数集和第二可训练参数集；将第一训练样本集输入到神经网络；通过迭代第一训练样本集经过神经自学习网络以更新第一可训练参数集来训练神经网络，并在第一训练样本集的迭代期间阻止第二可训练参数集被更新；将第二训练样本集输入到神经网络；以及通过迭代第二训练样本集经过神经网络以更新第二可训练参数集来嵌入水印，并在第二训练样本集的迭代期间阻止第一可训练参数集被更新。

技术领域

本发明一般涉及神经网络领域。更具体地，它涉及神经网络加水印。

背景技术

数字水印通常用于证明知识产权(诸如图像、视频、音乐、软件等)的所有权并跟踪其来源。数字水印通常被嵌入受保护数据中，而不会过度地改变或损坏数据，并且使得难以移除水印或创建没有所嵌入的水印的受保护数据的副本。

由于最近对于各种应用神经网络已处于高需求，因此，防止神经网络的盗窃和非法使用也变得越来越重要。经过良好训练的神经网络可以例如被窃取并用作其他训练的基础。然而，将水印嵌入神经网络中可能潜在地影响网络的整体学习能力。因此，需要用于嵌入水印以及从神经网络中提取所述水印的替代方法和装置。

发明内容

应当强调的是，当在本说明书中使用术语“包括/包括了”(可替换为“包含/包含了”)时，这用于指定所陈述的特征、整数、步骤或组件的存在，但不排除存在或添加一个或多个其他特征、整数，步骤、组件或其组。如本文所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。

通常，当在本文中提及装置时，应将其理解为物理产品。物理产品可以包括一个或多个部件，例如采用一个或多个控制器、一个或多个处理器等形式的控制电路。

一些实施例的目的是解决或减轻、缓和或消除上述缺点中的至少一些缺点，并提供用于训练神经网络并在神经自学习网络中嵌入水印以及用于从神经网络中提取所嵌入的水印的方法和装置。

根据第一方面，这通过一种用于训练神经网络并在神经网络中嵌入水印的方法来实现。水印通常用于能够证明所有权，并且可能用于认证神经网络。神经网络包括与多个网络节点相关联的多个可训练参数。该方法包括：将多个可训练参数分成第一可训练参数集和第二可训练参数集，以及将第一训练样本集输入到神经网络。

在一些实施例中，可训练参数可以是神经网络权重、偏移、偏差或用于训练神经网络的其他可更新参数中的至少一项。

在一些实施例中，第一可训练参数集可以被布置在多个网络节点的第一网络节点子集中。

该方法还包括：通过迭代第一训练样本集经过神经自学习网络以更新第一可训练参数集来训练神经网络，并在第一训练样本集的迭代期间阻止第二可训练参数集被更新。

该方法还包括：将第二训练样本集输入到神经网络，以及通过迭代第二训练样本集经过神经网络以更新第二可训练参数集来嵌入水印，并在第二训练样本集的迭代期间阻止第一可训练参数集被更新。

在一些实施例中，第二可训练参数集可以被布置在多个网络节点的第二网络节点子集中。

在一些实施例中，第一可训练参数集和第二可训练参数集在神经网络中形成平行层，并且该方法还包括：依次迭代第一训练样本集和第二训练样本集经过相应的可训练参数集。

在一些实施例中，该方法还包括：选择第二训练样本集以包括第一数量的训练样本，以及选择第二可训练参数集以包括第二数量的可训练参数，其中，第一数量小于第二数量。

在一些实施例中，第一训练样本集包括用于训练神经网络的一般训练样本，第二训练样本集包括用于加水印的训练样本。

在一些实施例中，第二训练样本集包括来自第一训练样本集的训练样本。