[发明专利]一种训练数据的处理方法、装置、设备和介质

说明书

本申请涉及一种训练数据的处理方法、装置、设备和介质，涉及数据处理的技术领域；方法包括获取多个政策训练样本，并从多个政策训练样本中，确定若干复杂样本；根据每一复杂样本进行样本扩充，得到每一复杂样本对应的扩充样本；根据所有复杂样本各自对应的扩充样本和多个政策训练样本，确定最终政策训练样本。本申请能够从多个政策训练样本中筛选出若干边界模糊难以分类的复杂样本；根据每一复杂样本进行样本扩充，以得到更多的有效训练样本，复杂样本在模型训练中的权重增高，进而可以优化分类模型对复杂样本拟合不足的问题，进而利用最终政策训练样本进行模型训练时能够提高模型的分类效果。

技术领域

本申请涉及数据处理的技术领域，尤其是涉及一种训练数据的处理方法、装置、设备和介质。

背景技术

随着社会经济的发展，为了提高人们的生活质量，各地政府相继出台多种政策措施，以解决社会面临的各种问题。各地政府政策一般可以分为公式管理、通知文件和产业政策等。政策数据的特点为数据量大维度多，因而在爬取这些数据的同时也需要使用政策分类模型对其进行分类。分类模型包括训练数据准备和模型训练两部分工作，其中训练数据质量好坏直接决定模型的效果。

一般的对于训练数据的处理并没有一套统一的方案，大都是在标注数据的基础上，进行简单的规则筛选过滤后，直接灌入深度学习模型进行训练，但是训练数据质量较差，进而影响政策分类模型的分类效果。

发明内容

本申请提供一种训练数据的处理方法、装置、设备和介质，用于解决以上技术问题。

第一方面，本申请提供一种训练数据的处理方法，采用如下的技术方案：

一种训练数据的处理方法，包括：

获取多个政策训练样本，并从多个政策训练样本中，确定若干复杂样本；

根据每一复杂样本进行样本扩充，得到每一复杂样本对应的扩充样本；

根据所有复杂样本各自对应的扩充样本和多个政策训练样本，确定最终政策训练样本。

通过采用上述技术方案，从多个政策训练样本中筛选出若干边界模糊难以分类的复杂样本；根据每一复杂样本进行样本扩充，以得到更多的有效训练样本，复杂样本在模型训练中的权重增高，进而可以优化分类模型对复杂样本拟合不足的问题，进而利用最终政策训练样本进行模型训练时能够提高模型的分类效果。

本申请在一较佳示例中可以进一步配置为：所述从多个政策训练样本中，确定若干复杂样本，包括：

利用政策分类模型依次对多个政策训练样本进行分类，得到多个政策训练样本各自对应的分类结果，其中，所述政策分类模型是利用多个政策训练样本进行训练得到的；

根据多个政策训练样本各自对应的分类结果和分类标签，从多个政策训练样本中确定若干复杂样本，其中，复杂样本为分类结果和分类标签不同的样本。

通过采用上述技术方案，利用由多个政策训练样本训练得到的政策分类模型对多个政策训练样本进行分类，得到每个政策训练样本对应的分类结果，将分类结合和分类标签进行比对，两者不同时，则确定政策训练样本为复杂样本，能够极大的提高复杂样本确定的效率。

本申请在一较佳示例中可以进一步配置为：所述获取多个政策训练样本之后，还包括：

提取每一政策训练样本的句向量，并计算每两个句向量的相似度；

根据所有的相似度、预设相似度阈值，对多个政策训练样本进行筛选，得到筛选后的多个政策训练样本；

相应的，所述从多个政策训练样本中，确定若干复杂样本，包括：

从筛选后的多个政策训练样本中，确定若干复杂样本。

通过采用上述技术方案，为每个政策训练样本生成一个句向量，计算样本间的余弦相似度，进而通过设置阈值，对于句间相似度超过预设相似度阈值的样本，只保留部分，以实现相似样本的筛选。能够减少训练样本中出现大量重复相似的语句，导致重复语句集上过拟合现象的发生，提高了模型的分类效果。