[发明专利]一种训练数据的处理方法、装置、设备和介质

权利要求书

1.一种训练数据的处理方法，其特征在于，包括：

获取多个政策训练样本，并从多个政策训练样本中，确定若干复杂样本；

根据每一复杂样本进行样本扩充，得到每一复杂样本对应的扩充样本；

根据所有复杂样本各自对应的扩充样本和多个政策训练样本，确定最终政策训练样本。

2.根据权利要求1所述的训练数据的处理方法，其特征在于，所述从多个政策训练样本中，确定若干复杂样本，包括：

利用政策分类模型依次对多个政策训练样本进行分类，得到多个政策训练样本各自对应的分类结果，其中，所述政策分类模型是利用多个政策训练样本进行训练得到的；

根据多个政策训练样本各自对应的分类结果和分类标签，从多个政策训练样本中确定若干复杂样本，其中，复杂样本为分类结果和分类标签不同的样本。

3.根据权利要求1所述的训练数据的处理方法，其特征在于，所述获取多个政策训练样本之后，还包括：

提取每一政策训练样本的句向量，并计算每两个句向量的相似度；

根据所有的相似度、预设相似度阈值，对多个政策训练样本进行筛选，得到筛选后的多个政策训练样本；

相应的，所述从多个政策训练样本中，确定若干复杂样本，包括：

从筛选后的多个政策训练样本中，确定若干复杂样本。

4.根据权利要求1所述的训练数据的处理方法，其特征在于，所述根据所有复杂样本各自对应的扩充样本和多个政策训练样本，确定最终的政策训练样本，包括：

根据所述复杂样本各自对应的扩充样本和多个政策训练样本，确定所有样本类别各自对应的占比；

确定占比小于预设占比阈值的目标样本类别，并根据目标样本类别对应的政策训练样本进行复制，得到目标样本类别对应的复制训练样本；

将所有复杂样本各自对应的扩充样本、多个政策训练样本和复制训练样本，确定为最终的政策训练样本。

5.根据权利要求1至4任意一项所述的训练数据的处理方法，其特征在于，所述根据每一复杂样本进行样本扩充，得到每一复杂样本对应的扩充样本，包括：

抽取每一复杂样本的关键序列片段；

针对每一复杂样本，确定复杂样本的关键序列片段，与从词库中的每一序列片段的相似度值；并根据所述相似度值确定若干目标序列片段，其中，所述词库中存储有多个序列片段；

根据每一复杂样本对应的若干目标序列片段，对每一复杂样本进行扩充，得到若干第一扩充样本；

确定每一复杂样本的样本句式结构；

根据每一复杂样本的样本句式结构对每一复杂样本进行语句片段剪切和/或语序调整，得到若干第二扩充样本；

其中，每一复杂样本对应的扩充样本包括：若干第一扩充样本和/或若干第二扩充样本。

6.根据权利要求1至4任意一项所述的训练数据的处理方法，其特征在于，所述根据所有复杂样本各自对应的扩充样本和多个政策训练样本，确定最终政策训练样本之后，还包括：

利用初始政策分类模型对各政策训练样本进行分类预测，得到政策训练样本属于每个类别的预测概率；

根据每一政策训练样本属于每个类别的预测概率和各自对应的类别标签，确定训练损失值；

根据所有政策训练样本的训练损失值确定总训练损失值；

根据所述总训练损失值和所述政策训练样本对所述初始政策分类模型进行迭代训练，直至训练损失值小于预设损失阈值时，将训练结束时的模型确定为政策分类模型。

7.根据权利要求6所述的训练数据的处理方法，其特征在于，所述根据所有政策训练样本的训练损失值确定总训练损失值，包括：

利用除目标训练样本之外的政策训练样本的训练损失值，确定总训练损失值，其中，目标训练样本是最高预测概率大于预设概率阈值的样本。