[发明专利]神经网络搜索方法和装置

说明书

本公开提供一种神经网络搜索方法和装置，涉及可信人工智能领域。神经网络搜索方法包括：利用预训练模型对训练样本进行处理以生成扰动信息；将训练样本和扰动信息进行叠加以生成对抗样本；确定待处理神经网络中的全部参数中的每个参数对待处理神经网络的表达能力值的影响度和收敛速度值的影响度；按照第一排序规则，根据表达能力值的影响度对全部参数进行排序以得到第一排序结果；按照第二排序规则，根据收敛速度值的影响度对全部参数进行排序以得到第二排序结果；根据每个参数在第一排序结果中的序号和在第二排序结果中的序号确定剪枝评估效果；删除剪枝评估效果最差的预设数量个参数以得到目标神经网络；利用目标神经网络进行对抗训练。

技术领域

本公开涉及可信人工智能领域，尤其涉及自动机器学习领域，特别涉及一种神经网络搜索方法和装置。

背景技术

目前，无论是人脸识别、自动驾驶、图像分类检索、推荐系统等领域，深度学习都取得了不俗的成果，但是随之而来的是对深度学习算法安全性的担忧，研究显示通过恶意算法生成的图片或者特殊标记(即对抗样本)可以让深度学习系统做出错误判断，如让自动驾驶系统误判断路标，人脸支付系统误识别支付人，这对于安全性要求较高的领域会产生巨大的威胁。为了解决该问题，在相关技术中，一种方式是把精力集中在模型的训练方法上，通过不同的对抗训练方式提升模型鲁棒性。另一种方式是通过神经网络搜索技术进行搜索鲁棒神经网络结构。

发明内容

发明人注意到，上述第一种方式的缺点是训练时间过长，模型收敛速度慢，训练难度大，且很多场景受限于参数规模，能够达到的鲁棒性有限。上述第二种方式的缺点是搜索成本很高，导致在很多场景下完全无法承受搜索成本。

据此，本公开提供一种神经网络搜索方案，能够有效搜索出具有高鲁棒性的神经网络结构，从而更好地解决神经网络的安全问题。

根据本公开实施例的第一方面，提供一种神经网络搜索方法，包括：利用预训练模型对训练样本进行处理，以生成扰动信息；将所述训练样本和所述扰动信息进行叠加，以生成对抗样本；利用所述对抗样本，确定所述待处理神经网络中的全部参数中的每个参数对所述待处理神经网络的表达能力值的影响度和收敛速度值的影响度；按照第一排序规则，根据表达能力值的影响度对所述全部参数进行排序以得到第一排序结果；按照第二排序规则，根据收敛速度值的影响度对所述全部参数进行排序以得到第二排序结果，其中所述第一排序规则与所述第二排序规则相反；根据所述每个参数在所述第一排序结果中的序号和在所述第二排序结果中的序号确定所述每个参数的剪枝评估效果；删除所述剪枝评估效果最差的预设数量个参数，以得到目标神经网络；利用所述目标神经网络进行对抗训练。

在一些实施例中，利用所述对抗样本，确定所述待处理神经网络中的全部参数中的每个参数对所述待处理神经网络的表达能力值的影响度和收敛速度值的影响度包括：将所述对抗样本输入待处理神经网络，计算所述待处理神经网络的表达能力值R0和收敛速度值H0；根据所述表达能力值R0，计算所述待处理神经网络中的全部参数中的每个参数对所述待处理神经网络的表达能力值的影响度；根据所述收敛速度值H0，计算所述每个参数对所述待处理神经网络的收敛速度值的影响度。

在一些实施例中，根据所述表达能力值R0，计算所述待处理神经网络中的全部参数中的每个参数对所述待处理神经网络的表达能力值的影响度包括：将所述待处理神经网络中的第j个参数删除，以得到中间神经网络，其中1≤j≤N，N为参数总数；将所述对抗样本输入所述中间神经网络，计算所述中间神经网络的表达能力值Rj；根据所述表达能力值R0和表达能力值Rj，确定第j参数对所述待处理神经网络的表达能力值的影响度。

在一些实施例中，所述第j参数对所述待处理神经网络的表达能力值的影响度为所述表达能力值R0与所述表达能力值Rj的差值的绝对值。

在一些实施例中，所述表达能力值为线性区域值。