[发明专利]一种面向嵌入式应用的深度对抗网络优化方法

说明书

本发明提供一种面向嵌入式应用的深度对抗网络优化方法，涉及电子信息技术领域。该方法包括：通过亚星素卷积神经网络改进典型的生成式对抗网络模型；根据改进的生成式对抗网络模型构建生成式对抗网络系统；对生成式对抗网络系统中每个硬件加速器的卷积模块进行优化；对生成式对抗网络系统中每个硬件加速器的Swish激活函数模块进行优化。本发明提供的一种面向嵌入式应用的深度对抗网络优化方法，从架构和硬件加速器设计两个层次进行优化，首先对生成式对抗网络的结构进行优化，开发相应的硬件加速器架构，以便在嵌入式平台上更易于实现，其次对硬件加速器进行相应的设计，降低硬件资源占用率，提高吞吐率，具有高通量、低功耗和可配置等特点。

技术领域

本发明涉及电子信息技术领域，具体涉及一种面向嵌入式应用的深度对抗网络优化方法。

背景技术

无监督网络是指在没有额外信息的情况下，从原始数据中提取模式和结构的任务。自动编码器是解决无监督学习的典型方法，但其性能难以与监督网络的性能相提并论。对抗网络的出现提供了解决无监督学习的可行方案，尤其是深度卷积生成式对抗网络已经解决了制约无监督学习的难题，并且在实践中得到广泛应用。

但是这类深度对抗网络由于一系列卷积层的应用，运算量巨大，很难集成到诸如智能手机和智能眼镜等嵌入式系统中。随着深度网络包含更多的卷积层和节点，减少系统运算量和存储量成为当务之急。卷积层是高度并行的，有效利其并行性可大幅度提升深度网络的性能。但是通用处理器是串行执行的，不能有效利用卷积层的并行性，很难有效完成这类任务。GPU和ASIC能高效利用这种并行性，但是消耗能量大，开发时间长和成本高，不适合生成式对抗网络等新兴无监督网络，且现有技术大多只对对抗网络的一部分进行优化，不能使对抗网络加速器的性能最大化。

发明内容

针对现有技术存在的问题，本发明提供一种面向嵌入式应用的深度对抗网络优化方法，具有高通量、低功耗和可配置等特点，首先通过亚像素卷积神经网络对典型的生成式对抗网络模型中的生成器进行优化，然后根据优化后的生成式对抗网络模型构建生成式对抗网络系统，最后对生成式对抗网络系统中的硬件加速器进行优化，以便在嵌入式平台上实现，降低硬件资源占用率，提高吞吐率。

为了实现上述目的，一种面向嵌入式应用的深度对抗网络优化方法，包括以下步骤：

步骤1：将亚像素卷积神经网络中尺寸为(o*r²，i，k/r，k/r)的卷积层与典型的生成器中尺寸为(o，i，k，k)的反卷积层等效，其中，卷积层和反卷积层的尺寸参数分别对应输出深度、输入深度、卷积核的宽度和卷积核的高度，o为典型的生成器中反卷积层的输出深度，i为典型的生成器中反卷积层的输入深度，k为正整数，r为上采样率，根据卷积层和反卷积层的对应关系，通过亚像素卷积神经网络改进典型的生成式对抗网络模型，并以Swish激活函数替换卷积层的LReLU激活函数，具体方法如下：

步骤1.1：将L维输入向量通过亚像素卷积神经网络中典型的卷积层在低分辨率空间提取特征图，特征图的尺寸参数为d_n@h_n*w_n，其中，d_n为第n个卷积层提取特征图的深度，h_n为第n个卷积层提取特征图的高度，w_n为第n个反卷积层提取特征图的宽度，n为亚像素卷积神经网络中卷积层的个数，@为隔离符号，卷积层的卷积核宽度和高度均为k/r；

步骤1.2：令卷积核的深度为d_n-1*r²，继续在低分辨率空间提取特征图，此时特征图的尺寸参数为d_n-1*r²@h_n-1*w_n-1；