[发明专利]基于可解释模型的循环神经网络后门攻击检测方法有效

专利信息
申请号: 202010936181.4 申请日: 2020-09-08
公开(公告)号: CN112132262B 公开(公告)日: 2022-05-20
发明(设计)人: 范铭;司梓良;刘烃;魏闻英;魏佳利 申请(专利权)人: 西安交通大学
主分类号: G06N3/04 分类号: G06N3/04;G06N3/08;G06K9/62
代理公司: 西安通大专利代理有限责任公司 61200 代理人: 王艾华
地址: 710049 *** 国省代码: 陕西;61
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 可解释 模型 循环 神经网络 后门 攻击 检测 方法
【权利要求书】:

1.基于可解释模型的循环神经网络后门攻击检测方法,其特征在于,包括如下步骤:

1)、基于聚类算法的RNN模型抽象:

步骤S101:对于文本数据集D和待抽象RNN模型M,将D中的每一条文本输入到M中,提取M中每一时间步的隐藏层向量与输出层向量;对于文本数据集D,生成所有文本的隐藏层向量集H和输出层向量集O;

步骤S102:根据输出层向量集O将隐藏层向量集H划分为一定数目的子集,对每个子集Hi分别使用机器学习算法进行划分,并得到Hi的一个划分Si

步骤S103:将文本数据集D中的每一条文本输入到待抽象模型M中,根据M中每一时间步的隐藏层向量与输出层向量,获得划分Si中分块之间以及划分Si与Sj的分块之间的连接关系R;把所有划分Si的分块视为状态,构建不确定有穷自动机,对于一条文本T,具体步骤如下:

步骤S401:设置当前状态为State0

步骤S402:按顺序获取其单词对应的隐藏层向量h与输出层向量o;

步骤S403:求解arg max(o),确定h所属的划分;若arg max(o)=i,则h属于Si

步骤S404:计算h与Si中各分块中心的相似度,选取相似度最高的分块作为下一状态;若相似度最高的分块为那么下一状态为计算h与各分块中心的欧氏距离,选取欧氏距离最小的分块作为下一状态;

步骤S405:在当前状态和下一状态间添加一条边;

步骤S406:设置当前状态为下一状态;若当前单词是T中最后一个单词,则退出;否则,返回步骤S402;

2)、基于RNN抽象模型的解释结果生成:

步骤S104:对于文本数据集D中的任一条文本T,根据T的每一单词的隐藏层向量计算其与各分块之间的相似关系,结合分块之间的连接关系R,确定文本T在分块之间的转移关系;利用构建好的不确定有穷自动机,确定文本T在自动机上的状态转移路径,对于一条文本T,具体步骤如下:

步骤S501:设置当前状态为State0

步骤S502:按顺序获取其单词对应的隐藏层向量h;

步骤S503:计算h与当前状态的相邻状态中心的相似度,选择相似度最高的状态作为下一状态;计算h与各相邻状态中心的欧氏距离同时选取欧氏距离最小的状态作为下一状态;

步骤S504:记录当前状态,并设置当前状态为下一状态;

步骤S505:若当前单词是T中最后一个单词,则退出;否则,返回步骤S502;

步骤S105:根据文本T中每一个单词在分块之间的转移关系,确定每一个单词的转移权重I;

步骤S106:根据文本T相邻单词输出层向量的变化,计算每一单词的权重W1;将文本T中的单词依次删除,并将其输入到模型M中,根据每一单词删除后输出层向量的变化,计算每一单词的权重W2

步骤S107:结合每个单词的转移权重I、权重W1和W2,得到文本T每个单词的解释结果;

3)、基于变异测试的后门检测:

步骤S108:对于文本数据集D中的每一条文本,根据其解释结果对单词的重要程度进行排序,选取前n个单词构成集合C;

步骤S109:将集合C中的单词加入到已知无后门数据集Dn并将Dn输入到模型M中,统计标签改变的概率P1;将集合C中的单词分别替换为与其有最高相似度的单词,并记为C',将C'加入到Dn并将Dn输入到模型M中,统计标签改变的概率P2;结合两个概率P1和P2得到概率P;

步骤S110:设置阈值TH,若概率P大于TH,则判定集合C中的单词为后门,将包含集合C中所有单词的文本从文本数据集D中删除,形成修正文本数据集D';输出无后门的修正文本数据集D'。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安交通大学,未经西安交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010936181.4/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top