[发明专利]一种模型攻击的防御方法及装置有效
申请号: | 201911193975.X | 申请日: | 2019-11-28 |
公开(公告)号: | CN110889117B | 公开(公告)日: | 2022-04-19 |
发明(设计)人: | 翁海琴;薛峰;宗志远 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06F21/56 | 分类号: | G06F21/56;G06F21/62 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 周嗣勇 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 模型 攻击 防御 方法 装置 | ||
1.一种模型攻击的防御方法,包括:
当集成模型被调用时,获取所述集成模型中各个子模型输出的子预测结果;
判断所述调用是否符合攻击调用;
若所述调用符合攻击调用,则采用预设的防御输出策略,基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出;
所述采用预设的防御输出策略,基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出,包括:
将所述子预测结果中置信度最低的子预测结果作为所述集成模型的预测结果并输出。
2.根据权利要求1所述方法,所述方法还包括:
若所述调用不符合攻击调用,则采用预设的缺省输出策略,基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出。
3.根据权利要求2所述方法,所述采用预设的缺省输出策略,基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出,包括:
对所述子预测结果进行加权平均计算,得到所述集成模型的预测结果并输出;或
将所述子预测结果中置信度最高的子预测结果作为所述集成模型的预测结果并输出;或
当所述子预测结果中存在多个相同的子预测结果时,将出现次数最多的子预测结果作为所述集成模型的预测结果并输出。
4.根据权利要求1所述方法,所述判断所述调用是否符合攻击调用,包括:
判断调用方的调用频率是否达到频率阈值,若达到所述频率阈值,则确定所述调用符合攻击调用;或
判断调用方在当前统计周期内的调用次数是否达到次数阈值,若达到所述次数阈值,则确定所述调用符合攻击调用。
5.根据权利要求4所述方法,所述频率阈值/次数阈值的确定方式,包括:
根据调用方标识获取调用方的历史调用信息,基于所述历史调用信息确定所述频率阈值/次数阈值。
6.根据权利要求5所述方法,所述基于所述历史调用信息确定所述频率阈值/次数阈值,包括:
根据所述调用方在指定的历史统计周期内的调用频率/调用次数,建立逻辑回归模型;
根据所述逻辑回归模型预测所述调用方在当前统计周期的调用频率/调用次数;
根据所述当前统计周期的调用频率/调用次数确定所述频率阈值/次数阈值。
7.一种模型攻击的防御装置,包括:
获取模块,当集成模型被调用时,获取所述集成模型中各个子模型输出的子预测结果;
判断模块,判断所述调用是否符合攻击调用;
防御输出模块,若所述调用符合攻击调用,则采用预设的防御输出策略,基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出;
所述防御输出模块:将所述子预测结果中置信度最低的子预测结果作为所述集成模型的预测结果并输出。
8.根据权利要求7所述装置,所述装置还包括:
缺省输出模块,若所述调用不符合攻击调用,则采用预设的缺省输出策略,基于所述各个子模型输出的子预测结果确定出所述集成模型的预测结果并输出。
9.根据权利要求8所述装置,所述缺省输出模块:
对所述子预测结果进行加权平均计算,得到所述集成模型的预测结果并输出;或
将所述子预测结果中置信度最高的子预测结果作为所述集成模型的预测结果并输出;或
当所述子预测结果中存在多个相同的子预测结果时,将出现次数最多的子预测结果作为所述集成模型的预测结果并输出。
10.根据权利要求7所述装置,所述判断模块:
判断调用方的调用频率是否达到频率阈值,若达到所述频率阈值,则确定所述调用符合攻击调用;或
判断调用方在当前统计周期内的调用次数是否达到次数阈值,若达到所述次数阈值,则确定所述调用符合攻击调用。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911193975.X/1.html,转载请声明来源钻瓜专利网。