[发明专利]基于关键层回滚机制的卷积神经网络模型容错方法

权利要求书

1.一种基于关键层回滚机制的卷积神经网络模型容错方法，其特征在于，包括以下步骤：

S1、寻找关键层，通过对原模型添加参数λ进行训练的方式寻找对分类影响最大的关键节点，依据关键节点的分布确定网络的关键层分布；

S2、输入分类图片，通过卷积神经网络对输入图片进行识别，获得关键层的输出特征；并根据输出特征得到检测阈值，用于判定检测点的输出是否存在异常；包括以下子步骤：

S21、输入的分类图片中包含多个已知类别的图片，每个类别的图片样本数量相等；

S22、统计所有图片输入卷积网络后，网络层的输出数据；

S23、根据步骤S22统计的输出数据，以输出最大值作为该网络层的检测阈值，若检测点的输出大于检测阈值则该检测点判定为异常，并回滚到上一个检测点的位置重新进行检测；否则该检测点判定为正常；

S3、将硬件约束进行建模，利用模拟退火算法求出在满足硬件条件约束的情况下的检测点数量。

2.根据权利要求1所述的一种基于关键层回滚机制的卷积神经网络模型容错方法，其特征在于，所述步骤S1包括以下子步骤：

S11、选择一个卷积结构的网络模型，训练模型并获得原始模型的权重；

S12、修改原始网络模型的结构，在每层网络中的神经元后面添加参数λ，使用添加的参数λ表示对应层神经元的关键程度，参数λ值越高对应神经元的关键程度越高；

S13、使用原模型输出和修改后模型输出构建损失函数，进行训练，直至原模型输出和修改模型的输出精度误差小于1％时停止训练，此时添加的参数λ代表对应神经元的关键程度；

S14、通过可视化展示步骤S13获得的参数λ的大小分布情况，统计每一层中参数λ大于1的数量，并按照参数λ大于1的数量从大到小对每层网络进行排序，得到关键层分布；

S15、对步骤S14中得到的所有关键层进行随机权重失效，通过随机函数随机选择神经元失效，然后测试模型精度，当模型精度小于预设阈值时停止操作；获得模型每一层能容忍失效的神经元的比例。

3.根据权利要求1所述的一种基于关键层回滚机制的卷积神经网络模型容错方法，其特征在于，所述步骤S3包括以下子步骤：

S31、确定目标函数，以模型能够正常运行的概率作为目标函数；

P(Normal)是目标函数代表模型正常工作的概率；将模型正确运行的概率分解为：无错误运行+出错并被当前层正确检测+出错被后面的层检测，公式表达为：

其中k表示网络层数，P(l_i)表示第i层网络正确运行的概率，P(d_i)表示第i层的检测方法正确检测的概率，m表示出错所在的网络层数，n表示正确检测所在的网络层数；

将上式化简后得到：

S32、确定约束条件，分析检测点的时间开销和空间开销，主要的影响因素为检测点所在层的神经元数量、输出的维度相关；

不同的检测方法和回滚设置会会带来不同的容错效果和额外系统开销，将步骤S31得到的目标函数建模为一个约束优化问题，公式表示如下：

max P(Normal)

st.T(Cost)LimitTime

S(Cost)LimitSpace

T(Cost)和S(Cost)分别表示时间开销和空间开销，LimitTime和LimitSpace分别表示时间开销和空间开销的上限值；

检测方法和回滚的设置都会带来时间和空间上的开销，时间开销和空间开销的量化公式如下：

T(d_i)表示第i层检测方法需要花费的时间，T(l_i)表示第i层的运算时间，T(IO)代表IO读取带来的开销；S(d_i)和S(l_i)分别代表检测方法和回滚时带来的空间开销；

S33、采用模拟退火算法对上述约束优化问题进行求解，得到检测点的数量。