[发明专利]针对文本分类器的自然对抗样本生成方法及相关装置有效

专利信息
申请号: 202110884051.5 申请日: 2021-08-03
公开(公告)号: CN113326356B 公开(公告)日: 2021-11-02
发明(设计)人: 张华;高浩然;杨兴国;涂腾飞;王华伟;秦素娟;高飞 申请(专利权)人: 北京邮电大学
主分类号: G06F16/33 分类号: G06F16/33;G06F16/35;G06K9/62;G06N3/04;G06N3/08
代理公司: 北京风雅颂专利代理有限公司 11403 代理人: 王刚
地址: 100876 *** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 针对 文本 分类 自然 对抗 样本 生成 方法 相关 装置
【权利要求书】:

1.一种针对文本分类器的自然对抗样本生成方法,包括:

步骤S100:获取目标文本分类器所对应的文本样本;

步骤S110:生成所述文本样本对应的第一离散向量,并生成所述第一离散向量对应的连续向量;

步骤S120:对所述连续向量进行降维,生成所述连续向量对应的潜在向量;

步骤S130:确定是否存在上一次迭代,当存在上一次迭代时,获取上一次迭代中步骤S180生成的确定噪声作为当前迭代的初始噪声;当不存在上一次迭代时,利用正态分布随机生成当前迭代的所述初始噪声;

步骤S140:将当前迭代的所述初始噪声添加至所述潜在向量中,生成所述潜在向量对应的第一连续空间向量;

步骤S150:对所述第一连续空间向量进行升维至与所述连续向量的维度相同,生成所述第一连续空间向量对应的第二连续空间向量;

步骤S160:生成所述第二连续空间向量对应的第二离散向量;

步骤S170:利用所述目标文本分类器对所述第二离散向量进行文本分类,获得所述第二离散向量对应的类别结果,将所述类别结果与所述文本样本对应的预设类别结果的交叉熵作为损失;并确定当前迭代次数是否小于最大迭代次数,当小于时执行步骤S180,当等于时执行步骤S190;

步骤S180:计算所述损失对于当前迭代的所述初始噪声的求导结果,将当前迭代的所述初始噪声与所述求导结果的和作为当前迭代的所述确定噪声,并转到执行步骤S130;

步骤S190:针对各次迭代分别对应的所述损失,获取最大的所述损失对应的所述第二离散向量,作为所述文本样本对应的所述自然对抗样本。

2.根据权利要求1所述的方法,其中,利用编码器生成所述第一离散向量对应的所述连续向量;所述编码器包括:嵌入层和三个CNN卷积层;

其中,所述嵌入层和三个所述CNN卷积层依次串联;所述嵌入层的输入维度为11004;所述嵌入层的嵌入维度为300;三个所述CNN卷积层的过滤器的大小分别为500、700和1000;三个所述CNN卷积层的步长分别为1、2和2;三个所述CNN卷积层的上下文窗口分别为3、3和3。

3.根据权利要求1所述的方法,其中,利用逆转器对所述连续向量进行降维,生成所述连续向量对应的所述潜在向量;所述逆转器包括:三个全连接层;

其中,前两个所述全连接层依次对接BN批标准化和Relu激活函数;三个所述全连接层的输出维度分别为300、300和100。

4.根据权利要求1所述的方法,其中,利用生成器对所述第一连续空间向量进行升维至与所述连续向量的维度相同,生成所述第一连续空间向量对应的所述第二连续空间向量;所述生成器包括三个全连接层;

其中,前两个所述全连接层依次对接BN批标准化和Relu激活函数;三个所述全连接层的输出维度分别为100、300和300。

5.根据权利要求1所述的方法,其中,利用解码器生成所述第二连续空间向量对应的所述第二离散向量;所述解码器包括:Lstm单元和一个全连接层;

其中,所述Lstm单元与所述全连接层串联;所述Lstm单元的输入维度为600;所述Lstm单元的隐藏维度为300;所述全连接层的输出维度为11004。

6.根据权利要求1所述的方法,其中,在所述计算所述损失对于当前迭代的所述初始噪声的求导结果,将当前迭代的所述初始噪声与所述求导结果的和作为当前迭代的所述确定噪声之后,还包括:

响应于确定当前迭代生成的所述确定噪声与利用正态分布随机生成的所述初始噪声的差大于阈值,利用投影法处理当前迭代生成的所述确定噪声以使处理后的当前迭代生成的所述确定噪声与利用正态分布随机生成的所述初始噪声的差不大于所述阈值,并将处理后的当前迭代生成的所述确定噪声用于下一次迭代。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110884051.5/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top