[发明专利]一种基于格拉姆矩阵正则化的卷积神经网可视化方法

摘要

本发明公开了一种基于格拉姆矩阵正则化的卷积神经网可视化方法，包括给定一个图像表示函数和参考表示，通过优化目标函数求出这个参考表示的输入层数据，作为对应的卷积神经网络待可视化层的可视化结果。本发明可以对不同的卷积神经网络的不同层的特征进行可视化。本发明对可视化技术的正则项进行了改进，取得了对可视化的愚弄效应进行抵抗的效果。

主权项

1.一种基于格拉姆矩阵正则化的卷积神经网可视化方法，其特征在于包括以下步骤：步骤(1):准备待可视化的卷积神经模型CNN、输入图像x0和对解图像初始化X＝X0；步骤(2):计算输入图像x0的特征映射及格拉姆正则项，具体如下：1)、计算输入图像x0在卷积神经模型中待可视化的第l层的特征映射Φl(x0)；2)、计算输入图像x0的格拉姆正则项，即：Φk(x0)TΦk(x0)，其中，k属于集合Ω，Ω的元素是待可视化的卷积神经模型中第1层到待可视化的第l层的任意组合，Φk(x0)是输入图像x0在待可视化的卷积神经模型第k层的特征映射；Φk(x0)T表示Φk(x0)的转置；步骤(3):计算解图像X的特征映射及格拉姆正则项，具体如下：1)、计算解图像X在卷积神经模型中待可视化的第l层的特征映射Φl(X)；2)、计算解图像X的格拉姆正则项，即：Φk(X)TΦk(X)，其中，k属于集合Ω，Ω的元素是待可视化的卷积神经模型中第1层到待可视化的第l层的任意组合，Φk(X)是解图像X在待可视化的卷积神经模型第k层的特征映射，Φk(X)T表示Φk(X)的转置；步骤(4):计算传统正则项Eregular，具体公式如下：其中，X是解图像，是对解图像X的Frobenius范数约束，R_TV(X)是对解图像X的全变分约束，λ_F、λ_TV分别是协调Frobenius范数约束和全变分约束的比重，2*10⁶＜λ_F＜2*10⁸,0.5＜λ_TV＜500，其中，Xi,j表示X在位置(i，j)的像素值；步骤(5):计算输入图像x0特征和解图像X特征的欧氏距离Eerror，以及输入图像x0格拉姆项和解图像X格拉姆项的欧氏距离Egram，具体计算公式如下：其中，N、M分别是解图像X在待可视化网络模型第k层特征映射的长和宽，k属于集合Ω，Ω的元素是待可视化的卷积神经模型中第1层到待可视化的第l层的任意组合，w_k是待可视化网络模型第k层的格拉姆项的欧氏距离；步骤(6):计算总的目标E，求梯度，具体如下：1)计算总的目标E，公式如下：E＝Eerror+λgEgram+Eregular，其中，λg是Egram项的权重，0.1＜λg＜200；2)利用反向传播算法计算基于解图像的梯度步骤(7)：更新解图像X，具体公式为：步骤(8)：判断||Φl(X)‑Φl(x0)||2＜ε是否成立，0.2＜ε＜5；如果成立,则此时得到的更新后的解图像即为对待可视化模型的l层进行可视化的结果图；否则将更新后的解图像带入步骤3‑7继续迭代。