[发明专利]对抗样本生成方法、装置和计算机设备

权利要求书

1.一种对抗样本生成方法，其特征在于，所述方法包括：

获取目标模型的原始样本；

根据所述目标模型的业务场景，确定所述原始样本中的可动词；

基于所述可动词，对所述原始样本进行扰动处理，得到所述原始样本的对抗样本，所述对抗样本用于对所述目标模型进行检测。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标模型的业务场景，确定所述原始样本中的可动词，包括：

根据所述目标模型的业务场景对应的语义关键词，确定所述原始样本中的不动词，基于所述原始样本中除了所述不动词之外的其他词，确定所述原始样本中的可动词。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述可动词，对所述原始样本进行扰动处理，得到所述原始样本的对抗样本，包括：

基于所述可动词和待执行的扰动处理，确定待执行扰动处理的目标对象；其中，所述扰动处理包括替换处理、删除处理、增加处理中的一种或多种，所述目标对象包括所述可动词和待扰动位置中的一种或多种；

基于所述目标对象对所述原始样本进行扰动处理，得到所述原始样本的对抗样本。

4.根据权利要求3所述的方法，其特征在于，当所述至少一种扰动处理包括增加处理时，所述待执行扰动处理的目标对象包括所述原始样本中待增加词的待加词位置以及每个待加词位置对应的待加词数量，所述基于所述目标对象对所述原始样本进行扰动处理，得到所述原始样本的对抗样本，包括：

针对每个待加词位置，生成所述待加词位置对应的待加词数量个第一掩码，得到第一输入序列；

根据所述第一输入序列预测每个所述第一掩码的目标词，得到所述原始样本的对抗样本。

5.根据权利要求3所述的方法，其特征在于，所述基于所述可动词和待执行的扰动处理，确定待执行扰动处理的目标对象，包括：

当所述至少一种扰动处理包括删除处理时，基于所述可动词，确定待执行删除处理的目标对象；

所述基于所述目标对象对所述原始样本进行扰动处理，得到所述原始样本的对抗样本，包括：

对所述原始样本中的所述目标对象进行去词处理，根据去词之后得到的文本的困惑度得到所述原始样本的对抗样本；所述困惑度用于表征所述对抗样本与自然语言的贴合程度，困惑度越小，对抗样本越贴合自然语言。

6.根据权利要求3所述的方法，其特征在于，所述基于所述可动词和待执行的扰动处理，确定待执行扰动处理的目标对象，包括：

当所述至少一种扰动处理包括替换处理时，从所述可动词中确定可替换词作为待执行替换处理的目标对象；

所述基于所述目标对象对所述原始样本进行扰动处理，得到所述原始样本的对抗样本，包括：

针对所述可替换词，生成所述可替换词对应的第二掩码，得到第二输入序列；

根据所述第二输入序列预测所述第二掩码的目标词，得到所述原始样本的对抗样本。

7.根据权利要求3至6任一项所述的方法，其特征在于，所述方法还包括：

对每种扰动处理得到的对抗样本进行有效性检测，得到符合有效性要求的对抗样本；

根据困惑度对所述符合有效性要求的对抗样本进行排序，选取前N个所述符合有效性要求的对抗样本，得到所述原始样本的目标对抗样本，所述困惑度用于表征所述对抗样本与自然语言的贴合程度，困惑度越小，对抗样本越贴合自然语言。

8.根据权利要求2所述的方法，其特征在于，所述目标模型的业务场景为理科试题的相似度分析；

所述根据所述目标模型的业务场景对应的语义关键词，确定所述原始样本中的不动词，基于所述原始样本中除了所述不动词之外的其他词，确定所述原始样本中的可动词，包括：

将所述原始样本中的字母和公式作为所述目标模型的业务场景对应的语义关键词，根据所述语义关键词确定所述原始样本中的不动词，基于所述原始样本中除了不动词之外的其他词，确定所述原始样本的可动词。