[发明专利]针对文本分类器的自然对抗样本生成方法及相关装置有效
申请号: | 202110884051.5 | 申请日: | 2021-08-03 |
公开(公告)号: | CN113326356B | 公开(公告)日: | 2021-11-02 |
发明(设计)人: | 张华;高浩然;杨兴国;涂腾飞;王华伟;秦素娟;高飞 | 申请(专利权)人: | 北京邮电大学 |
主分类号: | G06F16/33 | 分类号: | G06F16/33;G06F16/35;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京风雅颂专利代理有限公司 11403 | 代理人: | 王刚 |
地址: | 100876 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 针对 文本 分类 自然 对抗 样本 生成 方法 相关 装置 | ||
1.一种针对文本分类器的自然对抗样本生成方法,包括:
步骤S100:获取目标文本分类器所对应的文本样本;
步骤S110:生成所述文本样本对应的第一离散向量,并生成所述第一离散向量对应的连续向量;
步骤S120:对所述连续向量进行降维,生成所述连续向量对应的潜在向量;
步骤S130:确定是否存在上一次迭代,当存在上一次迭代时,获取上一次迭代中步骤S180生成的确定噪声作为当前迭代的初始噪声;当不存在上一次迭代时,利用正态分布随机生成当前迭代的所述初始噪声;
步骤S140:将当前迭代的所述初始噪声添加至所述潜在向量中,生成所述潜在向量对应的第一连续空间向量;
步骤S150:对所述第一连续空间向量进行升维至与所述连续向量的维度相同,生成所述第一连续空间向量对应的第二连续空间向量;
步骤S160:生成所述第二连续空间向量对应的第二离散向量;
步骤S170:利用所述目标文本分类器对所述第二离散向量进行文本分类,获得所述第二离散向量对应的类别结果,将所述类别结果与所述文本样本对应的预设类别结果的交叉熵作为损失;并确定当前迭代次数是否小于最大迭代次数,当小于时执行步骤S180,当等于时执行步骤S190;
步骤S180:计算所述损失对于当前迭代的所述初始噪声的求导结果,将当前迭代的所述初始噪声与所述求导结果的和作为当前迭代的所述确定噪声,并转到执行步骤S130;
步骤S190:针对各次迭代分别对应的所述损失,获取最大的所述损失对应的所述第二离散向量,作为所述文本样本对应的所述自然对抗样本。
2.根据权利要求1所述的方法,其中,利用编码器生成所述第一离散向量对应的所述连续向量;所述编码器包括:嵌入层和三个CNN卷积层;
其中,所述嵌入层和三个所述CNN卷积层依次串联;所述嵌入层的输入维度为11004;所述嵌入层的嵌入维度为300;三个所述CNN卷积层的过滤器的大小分别为500、700和1000;三个所述CNN卷积层的步长分别为1、2和2;三个所述CNN卷积层的上下文窗口分别为3、3和3。
3.根据权利要求1所述的方法,其中,利用逆转器对所述连续向量进行降维,生成所述连续向量对应的所述潜在向量;所述逆转器包括:三个全连接层;
其中,前两个所述全连接层依次对接BN批标准化和Relu激活函数;三个所述全连接层的输出维度分别为300、300和100。
4.根据权利要求1所述的方法,其中,利用生成器对所述第一连续空间向量进行升维至与所述连续向量的维度相同,生成所述第一连续空间向量对应的所述第二连续空间向量;所述生成器包括三个全连接层;
其中,前两个所述全连接层依次对接BN批标准化和Relu激活函数;三个所述全连接层的输出维度分别为100、300和300。
5.根据权利要求1所述的方法,其中,利用解码器生成所述第二连续空间向量对应的所述第二离散向量;所述解码器包括:Lstm单元和一个全连接层;
其中,所述Lstm单元与所述全连接层串联;所述Lstm单元的输入维度为600;所述Lstm单元的隐藏维度为300;所述全连接层的输出维度为11004。
6.根据权利要求1所述的方法,其中,在所述计算所述损失对于当前迭代的所述初始噪声的求导结果,将当前迭代的所述初始噪声与所述求导结果的和作为当前迭代的所述确定噪声之后,还包括:
响应于确定当前迭代生成的所述确定噪声与利用正态分布随机生成的所述初始噪声的差大于阈值,利用投影法处理当前迭代生成的所述确定噪声以使处理后的当前迭代生成的所述确定噪声与利用正态分布随机生成的所述初始噪声的差不大于所述阈值,并将处理后的当前迭代生成的所述确定噪声用于下一次迭代。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京邮电大学,未经北京邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110884051.5/1.html,转载请声明来源钻瓜专利网。