[发明专利]训练样本的获取方法、装置、计算机设备及存储介质

说明书

本申请实施例公开了一种训练样本的获取方法、装置、计算机设备及存储介质，涉及数据处理技术领域。所述方法包括：获取训练集中的原始样本并输入教师模型，通过教师模型获取各原始样本对应的注意力反应数据，根据各所述注意力反应数据获取对应原始样本的关键特征信息，并将所述关键特征信息与干扰噪声信息组合，得到多个增强样本。本申请极大地扩充了用于训练学生模型的样本量，达到了较好的知识蒸馏效果。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种训练样本的获取方法、装置、计算机设备及存储介质。

背景技术

现有神经网络模型由于其尺寸巨大、计算和训练成本昂贵，在实际生产环境中很难得到应用。知识蒸馏（Knowledge Distillation，KD）是一种对神经网络模型进行压缩，同时保持神经网络模型的预测性能的方法。在知识蒸馏训练方法中，通常使用卷积层多、参数量大且推理速度慢的高精度重模型作为教师模型来指导轻量化、推理速度快的学生模型训练。但是在实际应用场景中，由于敏感数据无法获取、数据访问不便、数据意外丢失等各种原因，用于训练教师模型的完整数据集在知识蒸馏的过程中可能无法访问或使用。缺乏完整的数据集使得学生模型很难学习训练。在这种情况下，学生模型的训练效果极不理想。如何基于少量样本获取用于对学生模型进行训练的大量样本成为亟需解决的问题。

发明内容

为了改善现有的缺乏完整数据集使得训练样本数量不足的问题，本申请提出了一种训练样本的获取方法、装置、计算机设备及存储介质，能够对样本集中的每一个训练样本进行数据增强，通过少量训练样本获取了大量训练样本，极大地扩充了样本量。

为了实现上述目的，本发明采用如下的技术方案：

第一方面，本申请实施例提供了一种训练样本的获取方法，所述方法包括：

获取多个原始样本；

将多个所述原始样本输入教师模型，通过所述教师模型获取各所述原始样本对应的注意力反应数据；

根据各所述注意力反应数据获取对应原始样本的关键特征信息；

根据各所述关键特征信息生成多个增强样本。

在一种可能的实现方式中，所述通过所述教师模型获取各所述原始样本对应的注意力反应数据的步骤，包括：

对所述教师模型的预设卷积层输入激活张量，输出一个C×H×W的特征层，其中C为所述特征层的层数，所述特征层包括C个特征图，各所述特征图的尺寸为H×W；

计算各所述特征图中处于相同位置的特征点的平均值；

根据所述平均值获取尺寸为H×W的初始空间注意力图；

将所述初始空间注意力图进行归一化处理，得到修正空间注意力图；

通过平均池化函数将所述修正空间注意力图映射到各所述原始样本上的维度上，得到所述注意力反应数据。

在一种可能的实现方式中，所述根据各所述注意力反应数据获取对应原始样本的关键特征信息的步骤，包括：

根据各所述注意力反应数据生成尺寸与所述原始样本的尺寸相等的注意力反应遮罩；

将各所述注意力反应遮罩与对应原始样本相乘，得到各所述关键特征信息。

在一种可能的实现方式中，所述根据各所述注意力反应数据生成尺寸与所述原始样本的尺寸相等的注意力反应遮罩的步骤，包括：

计算所述注意力反应数据的所有元素的元素均值；

从所述注意力反应数据的各元素中确定小于所述元素均值的第一目标元素，将所述注意力反应数据中的第一目标元素的元素值设置为0，从所述注意力反应数据的各元素中确定大于等于所述元素均值的第二目标元素，将所述注意力反应数据中的第二目标元素的元素值设置为1，以得到所述注意力反应遮罩。

在一种可能的实现方式中，所述根据各所述关键特征信息生成多个增强样本的步骤，包括：