[发明专利]文本分类模型的训练方法、文本处理的方法、设备及介质

说明书

本申请实施例公开了一种文本分类模型的训练方法、文本处理的方法、设备及介质，用于减少错误标注样本。该方法包括：获取与目标场景对应的多个批次样本集，将样本句输入至第一文本分类模型，输出样本句对应的M个第一文本类别概率，将样本句输入至第二文本分类模型，输出样本句对应的M个第二文本类别概率，基于M个第一文本类别概率对每个批次样本集进行噪声样本过滤，得到第一干净样本集，基于M个第二文本类别概率对每个批次样本集进行噪声样本过滤，得到第二干净样本集，基于第二干净样本集对第一文本分类模型进行参数调整，得到第一目标文本分类模型，基于第一干净样本集对第二文本分类模型进行参数调整，得到第二目标文本分类模型。

技术领域

本申请实施例涉及自然语言处理技术领域，尤其涉及一种文本分类模型的训练方法、文本处理的方法、设备及介质。

背景技术

随着信息技术地快速发展，深度学习方法在文本分类领域中引起了广泛的研究兴趣。而传统的基于深度学习的文本分类方法，对于数据集的规模和质量都有很高的要求。

由于许多数据集在标注过程中往往会出现很多错误，导致数据集中存在许多标注错误的噪声样本，而深度学习模型因为其巨大的参数量，非常容易记住数据集中的噪声样本，因此，在数据集中存在明显错误标注的情况下，如何避免模型记忆噪声样本是一个重要挑战。

而目前比较常用的方法是通过使用噪声转移矩阵来在训练过程中模拟数据集中出现噪声的情况，先对分类模型进行训练，然后再同时对噪声转移矩阵和分类模型进行同时训练，然后再单独训练分类模型，通过重复几次的交替训练后，才能使得分类模型得以获得在干净数据集上分类样本的能力，但是交替训练使其需要更多于传统模型的训练时间，且如果文本分类的类别越多，噪声转移矩阵的学习难度就会越高，从而导致时间成本升高以及训练成本升高。

发明内容

本申请实施例提供了一种文本分类模型的训练方法、文本处理的方法、设备及介质，用于基于第一干净样本集对第二文本分类模型进行优化以及基于第二干净样本集对第一文本分类模型进行优化，不仅能够避免第一文本分类模型以及第二文本分类模型在训练的过程陷入自我封闭，减少噪声样本在筛选过程中造成错误的累积，还能够通过对具有不同的模型架构的两种分类模型进行协同学习，获得在干净数据集上分类样本的能力，减少了训练时间，从而可以降低时间成本和训练成本。

本申请实施例一方面提供了一种文本分类模型的训练方法，包括：

从原始样本数据集中获取与目标场景对应的多个批次样本集，其中，每个批次样本集包括N个样本句，N为大于等于1的整数；

针对于N个样本句的每个样本句，将样本句输入至第一文本分类模型，通过第一文本分类模型输出样本句对应的M个第一文本类别概率，其中，M为大于等于1的整数；

针对于N个样本句的每个样本句，将样本句输入至第二文本分类模型，通过第二文本分类模型输出样本句对应的M个第二文本类别概率，其中，第二文本分类模型与第一文本分类模型互为异构模型；

基于M个第一文本类别概率，对每个批次样本集进行噪声样本过滤，得到第一干净样本集；

基于M个第二文本类别概率，对每个批次样本集进行噪声样本过滤，得到第二干净样本集；

基于第二干净样本集对第一文本分类模型进行参数调整，得到第一目标文本分类模型；

基于第一干净样本集对第二文本分类模型进行参数调整，得到第二目标文本分类模型。

本申请另一方面提供了一种文本分类模型的训练装置，包括：

获取单元，用于从原始样本数据集中获取与目标场景对应的多个批次样本集，其中，每个批次样本集包括N个样本句，N为大于等于1的整数；