[发明专利]针对隐私保护神经网络模型的后门攻击的检测与识别方法

说明书

本发明提供了一种针对隐私保护神经网络模型的后门攻击的检测与识别方法，所述方法包含以下步骤：步骤(1)，产生掩码矩阵和触发器矩阵；步骤(2)，设置后门检测相关参数初始状态；步骤(3)，构建对抗性输入；步骤(4)，进行掩码矩阵和触发器矩阵的优化训练；步骤(5)，计算掩码矩阵和触发器矩阵的梯度；步骤(6)，重置掩码矩阵和触发器矩阵；步骤(7)，触发器逆向工程。本发明使用定点数运算方式在三方环境下进行神经网络模型的训练，得到了保护数据隐私和模型隐私的具有后门的神经网络模型。本发明在四方服务器的环境下能够保护模型参数和数据的隐私并且能够检测模型中是否存在后门以及识别具体被攻击的标签。

技术领域

本发明涉及密码学以及机器学习(深度学习)技术领域，具体地说，是对隐藏了后门的具有隐私保护性质的神经网络模型进行后门攻击的检测与识别。

背景技术

依托于云计算、物联网、大数据技术的发展，以数据挖掘和深度学习为代表的人工智能技术正在改变人类社会生活，并成为先进科技应用的代表和社会关注的热点。作为引领未来的战略性技术，人工智能技术被世界各国纷纷提升为发展国家竞争力、维护国家安全的重大战略。

机器学习(Machine Learning,ML)是一种实现人工智能的方式，是近些年主要研究的领域。目前，机器学习方案在很多领域都有着成熟的应用，如天气预报、能源勘探、环境监测等领域，通过收集相关数据进行分析学习，可以提高这些工作的准确性。神经网络(Neural Networks,NNs)是一种模仿生物神经网络的结构和功能的数学模型，是目前机器学习常用的模型之一。深度学习(Deep Learning,DL)能够学习样本数据中的规律和表示层次，对声音、图片、视频等数据具有很好的可解释性。而深度神经网络(Deep NeuralNetworks,DNNs)是将神经网络和深度学习相结合的一种机器学习模型，它在我们生活中如自动驾驶、医疗、游戏、机器人等领域都有广泛的应用。然而，蓬勃发展的机器学习技术使数据安全与隐私面临更加严峻的挑战，因为机器学习的更精准模型需要大量的训练数据为支撑。

自2013年斯诺登的“棱镜”事件以来，全球信息泄露规模连年加剧，引起社会的广泛关注。2016年9月，Yahoo被曝出曾被黑客盗取了至少5亿的用户账号信息；2017年，微软Skype软件服务遭受DDOS攻击，导致用户无法通过平台上进行通信；2018年3月，美国《纽约时报》和英国《卫报》均报道：剑桥分析(Cambridge Analytica)数据分析公司在未经用户许可的情况下，盗用了高达5千万Facebook的用户个人资料。2019年，美国网络安全公司UpGuard发现上亿条保存在亚马逊AWS云计算服务器上的Facebook用户信息记录，可被任何人轻易地获取；IBM在未经当事人许可的情况下，从网络图库Flickr上获得了接近100万张照片，借此训练人脸识别程序，并与外部研究人员分享。2020年4月，华盛顿邮报报道视频会议软件Zoom存在的重大安全漏洞：数以万计的私人Zoom视频被上传至公开网页，任何人都可在线围观，很多视频都包含个人可识别信息，甚至是在家里进行的私密谈话。信息泄露的途径主要分为内部人员或第三方合作伙伴泄露，信息系统无法杜绝漏洞，机构本身的防护机制不健全，对数据的重要程度不敏感，以及对安全配置的疏忽大意等。可见，数据隐私的泄露已不单单是满足某些外部人员好奇心所驱使，而是已成为一种重要的商业获利而被广泛关注，其中不乏内外勾结、合谋获取用户的隐私等行为。

由于DNNs模型的权重和偏置不易被人类所理解，所以它具有不易解释性的性质，我们可以将DNNs模型理解为一个内部满了数字的黑匣子。对于这样一个黑匣子，我们无法对其穷举测试，因此模型的预测结果对于未测试的数据可能存在安全风险。2018年，有科研人员提出了一种针对神经网络的攻击方法Trojaning Attack。该方法具有很强的隐蔽性，他们首先对神经网络进行反向处理，生成一个通用的触发器，然后用反向工程的训练数据重新训练模型，从而向模型注入恶意行为。使用该攻击模型，可以造成严重的后果，如在自动驾驶领域可造成交通事故，将任何添加了触发器的人脸都识别为某个特定的人等。