[发明专利]一种训练深度神经网络的动态重采样方法

说明书

本发明实施例公开了一种训练深度神经网络的动态重采样方法，包括计算采样概率的算法、动态生成训练集的算法、以及训练神经网络的过程中进行动态重采样。采用本发明，在训练开始时使得训练集中的不同类别包含的样本数相对平衡，使得神经网络能够提取小类别的特征，训练结束时使得训练集的类别分布接近原始训练集的真实分布，从而减少过拟合，并且保持训练准确率和验证准确率的关联。

技术领域

本发明涉及一种人工智能深度学习技术领域，尤其涉及一种训练深度神经网络的动态重采样方法。

背景技术

自从2012年AlexNet在ImageNet大赛一炮打响，使用人工智能深度神经网络（特指卷积神经网络）进行图像分类取得了迅速发展，准确率已经达到甚至超过了人类专家的水平。但是深度神经网络进行图像分类存在一个问题，当样本集类分布很不平衡的时候，如果训练阶段不加以处理，预测的时候会倾向于包含样本数多的类，而忽略样本数少的类,从而导致即使分类准确率看起来还不错，但实际上完全不可用。

当前解决这个问题的方法有两种：使用包含类分布权重的损失函数，以及训练的时候对样本集进行重新采样。

有许多评价指标本身就考虑了类不平衡的问题，例如Kappa, F1 Score, Recall等，但是他们有些不适合作为损失函数，有些只能用在二分类或者回归问题中，不能用于多分类。因此解决类不平衡只能利用现有的损失函数（例如用交叉熵cross_entropy或者均方误差mean_squared_error等）,通过增加类的权重因子来处理类不平衡问题，例如使用Keras深度学习框架可以设置模型的类权重Class_weight。但是该方法有以下缺点：设置类权重很不直观，并且很难设置合适的值，在训练过程动态更改类权重比较麻烦。

使用重采样解决类不平衡问题现有的方法是在训练之前对训练集进行重新采样，对大类别进行欠采样（undersample），对小类别进行过采样（oversample），通过重采样静态生成一个相对平衡的训练集。这种方法有以下缺点：首先对大类别欠采样会抛弃一些宝贵的样本数据，此外由于在整个训练过程中训练集的类分布规律是静态的，很难找到重采样的平衡点。一方面如果忽略类不平衡，神经网络会倾向于样本多的类别而忽视样本少的类别，另一方面如果通过重采样强制各个类别包含同样的样本数，会导致过拟合，因为在每一轮训练中小类别的一个样本会重复出现很多次，并且由于重采样改变了训练集的数据分布，从而割裂了训练准确率和验证准确率之间的联系，大大增加了分析训练过程和调整训练参数的困难。

发明内容

本发明实施例所要解决的技术问题在于，提供一种训练深度神经网络的动态重采样方法。可提高深度神经网络分类的准确率，避免预测过程倾向于大类别而忽视小类别，同时避免过拟合，能够对样本集数据进行充分利用，能够保持训练准确率和预测准确率之间的联系。

为了解决上述技术问题，本发明实施例提供了一种训练深度神经网络的动态重采样方法，包括计算采样概率的算法、动态生成训练集的算法、以及训练神经网络的过程中进行动态重采样；

所述计算采样概率的算法包括使用一个数组保存类采样概率，将所述数组中的每一个元素对应每一个类的采样概率，并定义所述数组的初始值、结束值和变化规律函数；

所述动态生成训练集的算法包括对原始训练集的每一个元素以该元素所属类别的采样概率进行随机采样，动态生成一个临时训练集；

所述训练神经网络的过程中进行动态重采样通过每轮训练前使用回调函数调用所述动态生成训练集的方法生成一个训练集，将该训练集做为本轮训练的输入，然后进行本轮的训练。

进一步地，所述数组的初始值为训练集样本中每一个类包含样本数的n次幂的倒数，所述数组的结束值为训练集样本中每一个类包含样本数的m次幂的倒数，其中n和m的取值范围(0-1)，n>m。