[发明专利]文本分类模型的训练方法、文本处理的方法、设备及介质

权利要求书

1.一种文本分类模型的训练方法，其特征在于，包括：

从原始样本数据集中获取与目标场景对应的多个批次样本集，其中，每个批次样本集包括N个样本句，所述N为大于等于1的整数；

针对于所述N个样本句的每个样本句，将所述样本句输入至第一文本分类模型，通过所述第一文本分类模型输出所述样本句对应的M个第一文本类别概率，其中，所述M为大于等于1的整数；

针对于所述N个样本句的每个样本句，将所述样本句输入至第二文本分类模型，通过所述第二文本分类模型输出所述样本句对应的M个第二文本类别概率，其中，所述第二文本分类模型与所述第一文本分类模型互为异构模型；

基于所述M个第一文本类别概率，对所述每个批次样本集进行噪声样本过滤，得到第一干净样本集；

基于所述M个第二文本类别概率，对所述每个批次样本集进行噪声样本过滤，得到第二干净样本集；

基于所述第二干净样本集对所述第一文本分类模型进行参数调整，得到第一目标文本分类模型；

基于所述第一干净样本集对所述第二文本分类模型进行参数调整，得到第二目标文本分类模型。

2.根据权利要求1所述方法，其特征在于，所述基于所述M个第一文本类别概率，对所述每个批次样本集进行噪声样本过滤，得到第一干净样本集，包括：

根据所述样本句对应的M个第一文本类别概率以及样本句个数进行损失计算，得到所述每个批次样本集所对应的N个第一损失值；

根据所述N个第一损失值对所述每个批次样本集进行噪声样本过滤，得到所述第一干净样本集；

所述基于所述M个第二文本类别概率，对所述每个批次样本集进行噪声样本过滤，得到第二干净样本集，包括：

根据所述样本句对应的M个第二文本类别概率以及样本句个数进行损失计算，得到所述每个批次样本集所对应的N个第二损失值；

根据所述N个第二损失值对所述每个批次样本集进行噪声样本过滤，得到所述第二干净样本集。

3.根据权利要求2所述方法，其特征在于，所述根据所述N个第一损失值对所述每个批次样本集进行噪声样本过滤，得到所述第一干净样本集之前，所述方法还包括：

根据所述每个批次样本集所对应的批次数、每个批次样本集所对应的过滤率以及总批次数，计算所述每个批次样本集所对应的噪声样本筛选率；

所述根据所述N个第一损失值对所述每个批次样本集进行噪声样本过滤，得到第一干净样本集，包括：

根据所述噪声样本筛选率以及所述N个第一损失值从小到大的顺序，确定每个批次样本集所对应的干净样本句，以获取所述第一干净样本集；

所述根据所述N个第二损失值对所述每个批次样本集进行所述噪声样本过滤，得到第二干净样本集，包括：

根据所述噪声样本筛选率以及所述N个第二损失值从小到大的顺序，确定每个批次样本集所对应的干净样本句，以获取所述第二干净样本集。

4.根据权利要求1所述方法，其特征在于，所述针对于所述N个样本句的每个样本句，将所述样本句输入至第一文本分类模型，通过所述第一文本分类模型输出所述样本句对应的M个第一文本类别概率之前，所述方法还包括：

将所述每个批次样本集进行字级编码处理，得到每个字对应的字向量编码；

所述针对于所述N个样本句的每个样本句，将所述样本句输入至第一文本分类模型，通过所述第一文本分类模型输出所述样本句对应的M个第一文本类别概率，包括：

将所述字向量编码输入至所述第一文本分类模型，通过所述第一文本分类模型对所述字向量编码进行句向量转化，得到每个样本句所对应的第一样本句向量；

对每个样本句所对应的第一样本句向量进行类别概率预测，得到所述样本句对应的M个第一文本类别概率；

所述针对于所述N个样本句的每个样本句，将所述样本句输入至第二文本分类模型，通过所述第二文本分类模型输出所述样本句对应的M个第二文本类别概率，包括：

将所述字向量编码输入至所述第二文本分类模型，通过所述第二文本分类模型对所述字向量编码进行句向量转化，得到每个样本句所对应的第二样本句向量；

对每个样本句所对应的第二样本句向量进行类别概率预测，得到所述样本句对应的M个第二文本类别概率。