[发明专利]一种基于梯度信息的图片重建方法、系统及电子设备

说明书

本发明提出一种基于梯度信息的图片重建方法、系统及电子设备，包括：获取联邦学习中的图片分类模型，及其原始真实图片的真实梯度信息；基于所述真实梯度信息和图片分类模型，获取虚拟图片、标签信息和虚拟梯度信息；获取所述真实梯度信息与所述虚拟梯度信息之间的损失值；基于所述损失值对虚拟图片进行迭代优化，获取重建的图像。本发明基于梯度信息可重建出高质量的图片，重建的虚拟图片与原始真实图片之间的PSNR值达到25.6至33.8之间。

技术领域

本发明属于人工智能技术领域和联邦学习数据隐私保护领域，尤其涉及一种基于梯度信息的图片重建方法、系统及电子设备。

背景技术

随着深度学习技术的不断发展，越来越多的应用场景需要使用大量高质量的数据进行训练。然而，现实中很少有单一实体单位拥有大量数据，数据量少或是质量低都难以支撑深度学习模型的构建和应用。若将各个实体单位所拥有的相关数据收集在一起，又涉及到数据版权、隐私保护等问题。因此，以聚集形成规模数据效应、保护数据版权和隐私为初衷的联邦学习模型被设计出来并逐步得到应用。

联邦学习是一个多参与方或多计算结点之间共享聚合机器学习模型梯度参数而不直接交换数据的分布式深度学习框架，以解决数据共享与隐私保护的矛盾问题。在联邦学习中，参数服务器作为一个中央节点，用于收集和聚合参与方的本地模型计算好的梯度信息，并更新全局模型参数。在训练初始阶段，参数服务器向每一个参与者发送一个全局模型，参与者在本地设备上进行部分训练，然后将更新的梯度信息发送回参数服务器进行聚合，从而训练全局模型。联邦学习已经成为不传输原始数据情况下训练模型网络的常见方法。

然而最近一些研究发现梯度信息会带来数据隐私的泄露。例如对于图片数据而言，可以通过梯度信息还重建出图片的属性、标签甚至是能够对图片数据实现像素级上的详细重建。这种重建的方法基于一个朴素的观点，当两个图片对应的梯度越相近，这两个图片也就越相似。重建的过程中只需要将原始图片的梯度信息与虚拟图片的之间的梯度信息作为误差，通过最小化误差值进行优化迭代至收敛，原始训练图片就能被成功地重建。

尽管原始训练图片在一些研究中被证实能够实现重建，但是普遍存在着以下几个方面的不足。一方面对于信息的获取假设过强，一些方法假设重建者有主动能力需要去改变联邦学习下模型的参数或者改变网络结构，这种行为在现实中容易被检测出来，所以并不现实；另一方面需要较多的额外信息辅助，在目前根据梯度信息重建图片并不容易，有些研究发现如果可以利用图片的批量统计信息和真实的标签能够帮助图片的重建，但是这些信息在真实的联邦学习中，由于各节点只传递梯度信息，并不传递上述信息，所以这些信息的获取是不符合实际的。最后这些工作重建的图片普遍分辨率较低，普遍在64*64分辨率下，且效果不佳。

发明内容

为解决上述技术问题，本发明做了以下的创新，假设重建者为诚实且好奇的参数服务器，它能够记录模型和梯度信息，但是没有主动能力，解决了获取信息假设过强的问题。对于标签信息利用获取到的梯度信息进行重建，无需真实的图片标签。对于真实图片的批量信息利用相似分布图像数据集的均值与方差进行替代，例如当重建CIAFR10数据集的图片时候，可以利用ImageNet数据集的均值与方差代替真实图片批量信息中的均值与方差。对于重建的图片分辨率低，效果较差的问题，采取了两个措施，一方面在损失函数中除了常用的批量正则化，还加入了总变正则化和组正则化，另一方面引入StyleGAN XL生成模型对虚拟图片的潜在空间进行搜索，相比于直接优化虚拟图片，大大降低了需要搜索的空间，这使得重建高分辨率的图片变得可能。这两个措施在前文两个条件的限制下，依然提升了重建图片的效果，使得能够重建分辨率128*128像素以上的图片。本发明的意义在于打破了联邦学习核心的安全前提，即只传递梯度信息而不传递原始数据能够保护隐私。本方法可以作为联邦学习的风险评估工具，帮助加强数据隐私的保护。

为实现上述目的本发明提出了一种基于梯度信息的图片重建方法，包括：

获取联邦学习中的图片分类模型，及其原始真实图片对应的真实梯度信息；