[发明专利]一种深度神经网络样本自动取舍的训练方法

摘要

本发明公开的一种深度神经网络样本自动取舍的训练方法，其特征在于，包括如下步骤：A、样本的领域知识计算；B、计算所有样本的复选概率；C、小批量训练集样本自动取舍；D、网络参数和样本配额更新。本发明的训练方法，能使学习效果不好的样本出现的频率变高，学习效果好的样本出现的频率变低，把一些坏样本逐渐移除，以减少对深度神经网络的学习效果的破坏，高效地实现了对训练样本的合理利用。

主权项

1.一种深度神经网络样本自动取舍的训练方法，其特征在于，包括如下步骤：A、样本的领域知识计算；B、计算所有样本的复选概率；C、小批量训练集样本自动取舍；D、网络参数和样本配额更新；所述步骤A具体为：A1、样本的变形转换；A2、样本的非线性归一化；A3、样本添加虚拟笔；A4、计算样本的路径积分特征图；A5、计算样本的八方向特征图；步骤A1中，所述样本的变形转换是指仿射变换，包括整体的拉伸、缩放、旋转、平移，以及局部的抖动；步骤A2中，所述样本的非线性归一化是基于线条密度均衡的样本形状修正；步骤A3中，所述样本添加虚拟笔是在一个联机手写样本的相邻两个笔画之间用直线连接前一个笔画的最后一个点和后一个笔画的第一个点；步骤A4中，所述计算样本的路径积分特征图是将联机手写汉字的每一个笔画当做一条有限长度的路径，计算其路径积分特征并做三阶截断，前3阶分别得到1、2、4共7张路径积分特征图；步骤A5中，所述计算样本的八方向特征图是将手写汉字的笔画的方向在二维平面米字型的八个方向上做映射，得到八张不同的图像；所述步骤B具体为：B1、将所有样本的配额累加得到总配额值；B2、用每个样本的配额除以得到的总配额值，得到所有样本的复选概率分布；所述步骤B1具体为：样本更新中编号为i的样本x_i的配额值用p_i^t表示，总配额值为是单样本配额值的累加；所述步骤B2具体为：用每个样本的配额除以得到的总配额值得到复选概率，并把所有的复选概率按照样本编号顺序列成在t时的复选概率分布P^t；所述步骤C具体为：C1、更新时间序列t；C2、从训练集X中选出一个小批量训练集；所述步骤C1具体为：时间序列t在现在t的值的基础上加1再赋值给t，将此结果作为最新的时间序列号；所述步骤C2为：基于复选概率分布P^t，从训练集X中抽取一个小批量训练集，具体为，从区间[0,1]中随机选取一个数p′，令样本标号值i＝1；当p′＞0时，用p′循环依次减去复选概率分布P^t的每一个元素，直到p′≤0；选取最后一个减去的值所代表的样本放进小批量训练集；重复以上步骤，直到选取到足量的样本组成一个小批量训练集；所述步骤D具体为：D1、读取配额更新方程激活参数；D2、配额更新方程计算；D3、更新配额参数；所述步骤D1具体为：深度神经网络前向传播时，在最后的softmax层时计算得到一组含有k个值的向量，其中深度神经网络的分类结果是该组向量中的最大值属于其标签所在的类的概率为深度神经网络在正向传播结束后进行反向传播和网络参数更新；所述步骤D2具体为：根据softmax层的输出和将样本分为三个组，然后根据样本所属分组计算配额更新方程的代数值所述步骤D3具体为：更新样本配额是用上次的样本配额乘以配额更新方程结果，并将计算结果作为样本的更新后的配额。