[发明专利]基于特征的预训练模型选择算法的脆弱性评估方法及系统

说明书

本发明提供了基于特征的预训练模型选择算法的脆弱性评估方法及系统，所述方法包括：获取低级预训练模型和高级预训练模型；对所述低级预训练模型使用少量下游任务的数据和有监督的对比学习损失函数训练进行模型伪装攻击，以得到伪装的低级预训练模型；基于特征的预训练模型选择算法对所述高级预训练模型和所述伪装的低级预训练模型进行选择；若选定模型为所述伪装的低级预训练模型，则判定基于特征的预训练模型选择算法存在脆弱性。本发明实现了对基于特征的预训练模型选择算法的脆弱性的评估。

技术领域

本发明涉及机器学习技术领域，尤其涉及基于特征的预训练模型选择算法的脆弱性评估方法及系统。

背景技术

随着预训练模型的兴起，在下游机器学习任务上微调预训练模型已经成为机器学习领域中的一个范式，可以提高模型在下游任务上的表现。在自然语言处理领域，预训练模型BERT,RoBERTa等通过在大规模语料库上进行预训练，编码了许多知识。

第三方模型库中包含大量的预训练模型，如何挑选适合下游任务的预训练模型是一个要解决的问题。使用下游任务数据微调所有的预训练模型，根据微调过的预训练模型在下游任务的表现进行模型选择需要消耗大量的时间和计算量。针对此类问题，研究人员提出了基于特征的预训练模型选择算法，如LogME等。

基于特征的预训练模型选择算法的主要步骤是将下游任务的数据传入预训练模型进行前向传播得到数据的特征。然后根据预训练模型提取的数据特征和数据标签之间的联系进行预训练模型的选择。此类算法相比与微调预训练模型进行预训练模型的选择可以提速上千倍。但是基于特征的预训练模型选择算法的准确性和安全性难以进行评估验证，使用过程存在风险。

发明内容

本发明提供基于特征的预训练模型选择算法的脆弱性评估方法及系统，实现对基于特征的预训练模型选择算法的脆弱性的评估。

本发明提供基于特征的预训练模型选择算法的脆弱性评估方法，所述方法包括：

获取低级预训练模型和高级预训练模型；

对所述低级预训练模型使用少量下游任务的数据和有监督的对比学习损失函数训练进行模型伪装攻击，以得到伪装的低级预训练模型；

基于特征的预训练模型选择算法对所述高级预训练模型和所述伪装的低级预训练模型进行选择；

若选定模型为所述伪装的低级预训练模型，则判定基于特征的预训练模型选择算法存在脆弱性。

根据本发明提供的基于特征的预训练模型选择算法的脆弱性评估方法，对所述低级预训练模型进行伪装攻击，具体包括：

使用少量下游任务的数据和有监督的对比学习损失函数对低级预训练模型训练进行伪装攻击，以使同一类别的目标数据经过伪装后的预训练模型提取的数据特征相接近。

根据本发明提供的基于特征的预训练模型选择算法的脆弱性评估方法，对所述低级预训练模型进行模型伪装攻击过程中，在一个batch中使用N个下游任务的样本每个样本x_k前向传播K次，使用不同的dropout masks,得到K×N样本的特征表示

根据本发明提供的基于特征的预训练模型选择算法的脆弱性评估方法，所述有监督的对比学习损失函数具体为：

是除了j以外的样本特征的下标；

是中和标签相同的样本特征的下标集合；

N为一个batch中下游样本数量；

K为每个样本前向传播次数；

通过优化对模型进行伪装，使下游任务中相同标签的样本被伪装后模型提取的特征接近。