[发明专利]一种用于测试人工智能模型鲁棒性的方法和系统在审
申请号: | 202011630126.9 | 申请日: | 2020-12-31 |
公开(公告)号: | CN112766315A | 公开(公告)日: | 2021-05-07 |
发明(设计)人: | 李肯立;段明星;廖清;方森;李克勤;刘楚波;唐卓 | 申请(专利权)人: | 湖南大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04 |
代理公司: | 武汉臻诚专利代理事务所(普通合伙) 42233 | 代理人: | 宋业斌 |
地址: | 410082 湖*** | 国省代码: | 湖南;43 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 用于 测试 人工智能 模型 鲁棒性 方法 系统 | ||
本发明属于人工智能模型鲁棒性判定技术领域,并公开了一种在不知人工智能模型以及训练数据集情况下能有效地对未知模型进行攻击方法,包括以下步骤:原始数据集的浅层共享特征的捕获,并根据输入条件生成相应的目标样本。待测试人工智能模型用于预测目标样本的输出,该输出和正式的标签进行比对得到相应损失。同时生成的目标样本用于训练替代模型,并得到相应的输出,比较同一个样本在两个不同模型情况下的输出,得到比对损失,用于确保替代模型很好的学习待测试人工智能模型的全部功能。之后用一些成熟的攻击算法去攻击替代模型得到相应的对抗样本,并将这些对抗样本用于攻击未知的人工智能模型,进而判定人工智能模型的鲁棒性。
技术领域
本发明属于人工智能和机器学习技术领域,更具体地,涉及一种用于测试人工智能模型鲁棒性的方法和系统。
背景技术
人工智能模型广泛应用到本发明日常生活中,例如,人脸识别、语音识别、目标跟踪、图像分割等等。虽然深度神经网络取得巨大的成功,但是当前研究已经证明它们易受到攻击,导致最终系统预测出错,造成严重后果。因此如何评价和提升人工智能模型的鲁棒性具有重要意义。
目前对人工智能模型鲁棒性的测试方案包括基于白盒系统和基于黑盒系统的两种实现方式,即攻击白盒或者黑盒系统,统计攻击成功率,从而判定系统的鲁棒性。对于白盒模型而言,测试者对目标模型了如指掌,进而对输入样本注入噪音或者模型本身发动攻击,通过输出结果来判别模型鲁棒性;而在黑盒应用场景中,测试者要么需要构建黑盒攻击算法,然后利用该算法去攻击黑盒系统,进而测试黑盒系统的鲁棒性;要么构建与黑盒模型接近的替代模型,进而调用现有成熟的基于白盒系统的测试方案得到最终的测试结果。
然而,现有基于黑盒实现网络模型鲁棒性测试的方法仍然存在一些不可忽略的缺陷:第一、该方法的原始训练数据集不为人知,需要构建特殊算法去模仿接近黑盒系统的真实数据集,但这种算法的设计难度相当高,费时费力;第二、黑盒攻击算法的攻击成功率相对较低,不能较好的判断黑盒模型的鲁棒性;第三、由于用于训练替代模型的原始训练数据集未知、或者只部分为人所知,导致该方法构建的替代模型并不能完整地模仿黑盒模型的功能,这会影响最终的鲁棒性测试结果准确度。
发明内容
针对现有技术的以上缺陷或改进需求,本发明提供了一种用于测试人工智能模型鲁棒性的方法和系统,其目的在于,解决现有基于黑盒实现网络模型鲁棒性测试的方法由于需要构建复杂特殊算法去模仿接近黑盒系统的真实数据集,但这种算法的设计难度相当高、费时费力的技术问题,以及黑盒攻击算法的攻击成功率相对较低,不能较好的判断黑盒模型的鲁棒性的技术问题,以及由于用于训练替代模型的原始训练数据集未知、或者只部分为人所知,导致该方法构建的替代模型并不能完整地模仿黑盒模型的功能,并会影响最终的鲁棒性测试结果准确度的技术问题,
为实现上述目的,按照本发明的一个方面,提供了一种用于测试人工智能模型鲁棒性的方法,包括以下步骤:
(1)获取随机生成的输入数据,其大小为1*100维;
(2)将步骤(1)获取的输入数据输入上卷积网络模型中,以得到中间特征;
(3)将步骤(2)得到的中间特征输入N路子网络中,以得到N个输出结果;其中N的取值范围是100到1000;
(4)基于步骤(3)得到的N个输出结果,并使用白盒攻击算法攻击训练好的替代模型,以生成多个对抗样本;
(5)使用步骤(4)得到的多个对抗样本对待测试人工智能模型进行鲁棒性测试,以得到最终的测试结果。
优选地,步骤(2)中的上卷积网络模型结构如下:
第一层是上卷积模块层,由上采样层、卷积层、激活函数按顺序前后串联形成。其中,上采样步长为1,输出大小1*10*10,卷积核尺寸为1*1,卷积步长为3,激活函数采用ReLU,输出大小为4*4*1024;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于湖南大学,未经湖南大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011630126.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:渐变多阶矩形密堆积拓频准自补天线
- 下一篇:一种物流运单下单处理系统