[发明专利]用于模型验证的方法、装置、设备和介质

说明书

本公开的实施例提供了用于模型验证的方法、装置、设备和介质，涉及人工智能领域。一种用于支持模型验证的方法包括从用于分类模型的训练样本集中选择训练样本，训练样本集被分类到多个类中的第一类，分类模型被配置为实现多个类的分类。该方法还包括修改所选择的训练样本，以获得修改后的训练样本，修改后的训练样本与训练样本之间的差异不超过阈值差异。该方法进一步包括至少基于修改后的训练样本来训练分类模型，以使训练后的分类模型能够将修改后的训练样本分类到多个类中的第二类，第二类不同于第一类。通过稍微修改训练样本来执行模型训练，可以支持高效的模型验证，有助于判断是否存在模型窃取行为。

技术领域

本公开的实施例主要涉及计算机技术，并且更具体地，涉及人工智能领域。

背景技术

目前机器学习技术被广泛应用在计算机视觉、人机交互、推荐系统、安全防护等各个领域。由于机器学习可能涉及到训练数据的隐私敏感信息、模型训练和/或模型结构的创新型和资源开销等，所以机器学习模型是一种非常有价值的知识产权资产。机器学习模型面临的主要风险之一是模型窃取。模型窃取是指侵犯者通过各种方法尝试还原机器学习模型。模型窃取会导致模型拥有方的数据泄露、知识产权损失和经济损失等。因此，期望在怀疑模型被窃取时能够验证模型的所有权。

发明内容

根据本公开的实施例，提供了一种用于模型保护和模型验证的方案。

在本公开的第一方面中，提供了一种用于支持模型验证的方法。该方法包括从用于分类模型的训练样本集中选择训练样本，训练样本集被分类到多个类中的第一类，分类模型被配置为实现多个类的分类。该方法还包括修改所选择的训练样本，以获得修改后的训练样本，修改后的训练样本与训练样本之间的差异不超过阈值差异。该方法进一步包括至少基于修改后的训练样本来训练分类模型，以使训练后的分类模型能够将修改后的训练样本分类到多个类中的第二类，第二类不同于第一类。

在本公开的第二方面中，提供了一种用于模型验证的方法。该方法包括获得用于模型验证的目标输入，目标输入是源输入的修改版本，源输入由目标分类模型分类到多个类中的第一类并且目标输入由目标分类模型分类到多个类中的第二类，第二类不同于第一类。该方法还包括将目标输入应用到待验证的分类模型，以获得分类模型对目标输入的分类结果。该方法进一步包括根据确定分类结果指示第二类，确定分类模型是目标分类模型的复制版本。

在本公开的第三方面中，提供了一种用于支持模型验证的装置。该装置包括样本选择模块，被配置为从用于分类模型的训练样本集中选择训练样本，训练样本集被分类到多个类中的第一类，分类模型被配置为实现多个类的分类。该装置还包括样本修改模块，被配置为修改所选择的训练样本，以获得修改后的训练样本，修改后的训练样本与训练样本之间的差异不超过阈值差异。该装置进一步包括模型训练模块，被配置为至少基于修改后的训练样本来训练分类模型，以使训练后的分类模型能够将修改后的训练样本分类到多个类中的第二类，第二类不同于第一类。

在本公开的第四方面中，提供了一种用于模型验证的装置。该装置包括输入获得模块，被配置为获得用于模型验证的目标输入，目标输入是源输入的修改版本，源输入由目标分类模型分类到多个类中的第一类并且目标输入由目标分类模型分类到多个类中的第二类，第二类不同于第一类。该装置还包括输入应用模块，被配置为将目标输入应用到待验证的分类模型，以获得分类模型对目标输入的分类结果。该装置进一步包括确定模块，被配置为根据确定分类结果指示第二类，确定分类模型是目标分类模型的复制版本。

在本公开的第五方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。

在本公开的第六方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第二方面的方法。