[发明专利]基于可解释模型的循环神经网络后门攻击检测方法有效
申请号: | 202010936181.4 | 申请日: | 2020-09-08 |
公开(公告)号: | CN112132262B | 公开(公告)日: | 2022-05-20 |
发明(设计)人: | 范铭;司梓良;刘烃;魏闻英;魏佳利 | 申请(专利权)人: | 西安交通大学 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06K9/62 |
代理公司: | 西安通大专利代理有限责任公司 61200 | 代理人: | 王艾华 |
地址: | 710049 *** | 国省代码: | 陕西;61 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 可解释 模型 循环 神经网络 后门 攻击 检测 方法 | ||
1.基于可解释模型的循环神经网络后门攻击检测方法,其特征在于,包括如下步骤:
1)、基于聚类算法的RNN模型抽象:
步骤S101:对于文本数据集D和待抽象RNN模型M,将D中的每一条文本输入到M中,提取M中每一时间步的隐藏层向量与输出层向量;对于文本数据集D,生成所有文本的隐藏层向量集H和输出层向量集O;
步骤S102:根据输出层向量集O将隐藏层向量集H划分为一定数目的子集,对每个子集Hi分别使用机器学习算法进行划分,并得到Hi的一个划分Si;
步骤S103:将文本数据集D中的每一条文本输入到待抽象模型M中,根据M中每一时间步的隐藏层向量与输出层向量,获得划分Si中分块之间以及划分Si与Sj的分块之间的连接关系R;把所有划分Si的分块视为状态,构建不确定有穷自动机,对于一条文本T,具体步骤如下:
步骤S401:设置当前状态为State0;
步骤S402:按顺序获取其单词对应的隐藏层向量h与输出层向量o;
步骤S403:求解arg max(o),确定h所属的划分;若arg max(o)=i,则h属于Si;
步骤S404:计算h与Si中各分块中心的相似度,选取相似度最高的分块作为下一状态;若相似度最高的分块为那么下一状态为计算h与各分块中心的欧氏距离,选取欧氏距离最小的分块作为下一状态;
步骤S405:在当前状态和下一状态间添加一条边;
步骤S406:设置当前状态为下一状态;若当前单词是T中最后一个单词,则退出;否则,返回步骤S402;
2)、基于RNN抽象模型的解释结果生成:
步骤S104:对于文本数据集D中的任一条文本T,根据T的每一单词的隐藏层向量计算其与各分块之间的相似关系,结合分块之间的连接关系R,确定文本T在分块之间的转移关系;利用构建好的不确定有穷自动机,确定文本T在自动机上的状态转移路径,对于一条文本T,具体步骤如下:
步骤S501:设置当前状态为State0;
步骤S502:按顺序获取其单词对应的隐藏层向量h;
步骤S503:计算h与当前状态的相邻状态中心的相似度,选择相似度最高的状态作为下一状态;计算h与各相邻状态中心的欧氏距离同时选取欧氏距离最小的状态作为下一状态;
步骤S504:记录当前状态,并设置当前状态为下一状态;
步骤S505:若当前单词是T中最后一个单词,则退出;否则,返回步骤S502;
步骤S105:根据文本T中每一个单词在分块之间的转移关系,确定每一个单词的转移权重I;
步骤S106:根据文本T相邻单词输出层向量的变化,计算每一单词的权重W1;将文本T中的单词依次删除,并将其输入到模型M中,根据每一单词删除后输出层向量的变化,计算每一单词的权重W2;
步骤S107:结合每个单词的转移权重I、权重W1和W2,得到文本T每个单词的解释结果;
3)、基于变异测试的后门检测:
步骤S108:对于文本数据集D中的每一条文本,根据其解释结果对单词的重要程度进行排序,选取前n个单词构成集合C;
步骤S109:将集合C中的单词加入到已知无后门数据集Dn并将Dn输入到模型M中,统计标签改变的概率P1;将集合C中的单词分别替换为与其有最高相似度的单词,并记为C',将C'加入到Dn并将Dn输入到模型M中,统计标签改变的概率P2;结合两个概率P1和P2得到概率P;
步骤S110:设置阈值TH,若概率P大于TH,则判定集合C中的单词为后门,将包含集合C中所有单词的文本从文本数据集D中删除,形成修正文本数据集D';输出无后门的修正文本数据集D'。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西安交通大学,未经西安交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010936181.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种建盏支烧工艺
- 下一篇:一种2-三氟甲基取代的喹唑啉酮衍生物的制备方法