[发明专利]用于适应性缩放的人工神经网络中的非均匀正则化

权利要求书

1.一种用于人工神经网络的灵活正则化和适应性缩放的系统，该系统包括：

接口，该接口被配置为接收和提交信号；

存储器，该存储器存储人工神经网络和训练数据、线性PCA、训练算子、自适应截断器和随机数发生器；

处理器，该处理器与所述接口和所述存储器连接，该处理器被配置为将所述信号和所述训练数据提交到包括一系列层的所述人工神经网络中，其中，各个层包括神经元节点的集合，其中，来自邻近层的一对神经元节点与多个可训练参数相互连接以将所述信号从前一层传递到下一层，其中，所述处理器执行：

所述随机数发生器被配置为遵循跨所述人工神经网络的层深度方向和节点宽度方向的多维分布以随机方式修改各个所述神经元节点的输出信号以进行正则化，其中，至少一层跨神经元节点具有非恒等剖面；

所述训练算子被配置为使用所述训练数据更新所述人工神经网络的参数，使得所述人工神经网络的输出在多个目标函数中提供更好的值；以及

所述自适应截断器被配置为对压缩大小的所述人工神经网络中的各个层的所述神经元节点的输出进行剪枝，以在针对任何新传入数据的下游测试阶段降低计算复杂度。

2.根据权利要求1所述的系统，其中，所述神经网络包括形成至少编码器网络和解码器网络的级联的多个神经网络块，其中，至少在一个中间层中具有数量较少的神经元的随机瓶颈跨节点以非恒等丢弃率表示适应性低维潜在变量，从而允许所述编码器网络的无率特征提取和所述解码器网络的灵活数据重构。

3.根据权利要求2所述的系统，其中，通过同时随机截断下尾段的连续节点，节点输出根据单调递增丢弃率剖面而被随机丢弃，而上头段的连续节点存活，以用于训练所述神经网络的参数。

4.根据权利要求3所述的系统，其中，所丢弃的节点和存活的节点被互补地馈送到各个神经网络中以无缝地解纠缠所提取的特征，使得上节点和下节点在用于多任务和对抗优化的两个目标函数中具有不同的重要性，从而实现可迁移的潜在表示。

5.根据权利要求2所述的系统，其中，所述编码器网络和所述解码器网络将线性投影特征提取与线性主成分分析(PCA)编码器和解码器集成，以允许模型辅助适应性降维。

6.根据权利要求1所述的系统，其中，网络深度和宽度根据随机深度和宽度自适应地缩放，其中，在训练中，较深和较宽的层以较高的概率被丢弃，使得下游系统能够调节所述神经网络的大小而无需重新训练。

7.根据权利要求1所述的系统，其中，以特定权重采用基于多项式函数、指数函数、幂函数、泊松函数、维格纳函数和拉普拉斯函数的多个参数函数的组合，以指定跨网络深度和宽度的多维正则化剖面。

8.根据权利要求1所述的系统，其中，利用所述随机数发生器采用丢弃、换出、时区丢弃、块丢弃、丢弃连接、噪声注入、侧丢弃、尾丢弃和抖动的组合。

9.根据权利要求1所述的系统，其中，采用卷积层、回归反馈、环路连接、跳跃连接、inception和激活的组合。

10.根据权利要求1所述的系统，其中，采用均方误差、交叉熵、结构相似性、负对数似然、绝对误差、交叉协方差、聚类损失、散度、合页损失、Huber损失、负采样和三元组损失的组合。

11.根据权利要求1所述的系统，其中，更新器采用随机梯度下降、自适应动量、Ada梯度、Ada界、Nesterov加速梯度和均方根传播的组合来优化所述神经网络的所述可训练参数。

12.根据权利要求2所述的系统，其中，采用变分随机采样来构造生成模型。