[发明专利]文本分类模型的训练方法、装置及文本分类方法

说明书

本申请公开了一种文本分类模型的训练方法、装置及文本分类方法，训练方法包括：构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。本申请显著提高了预测准确性，且计算量小、适用场景、领域广泛、实用性极强。

技术领域

本申请涉及人工智能技术领域，具体涉及一种文本分类模型的训练方法、装置及文本分类方法。

背景技术

文本分类问题是自然语言处理(NLP)领域非常重要和常见的一种任务形式，分类问题最常用的方法也是监督分类方法，该方法需要大量的有标注的训练数据对模型进行训练，才能使得分类结果较为理想。

随着BERT等模型的横空出世，越来越多人开始使用大规模预训练模型加上fine-tune的模式进行分类，但直接使用BERT模型的分类结果不够理想，如果想得到较好的分类结果仍需要一大部分语料进行模型训练。

后来GPT3模型出现了，GPT3模型凭借其超大规模参数可以对分类任务有较好的效果，但是该模型参数规模太大，很难再工业界落地应用。

发明内容

针对上述问题，本申请实施例提供了一种文本分类模型的训练方法、装置及文本分类方法，将文本分类问题巧妙的转化为“完形填空”的形式，基于现有的MLM，即可达到理想的文本分类效果，以克服或部分克服现有技术的不足之处。

第一方面，本申请实施例提供了一种文本分类模型的训练方法，包括：

构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；

将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；

将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；

根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。

第二方面，本申请实施例还提供了一种文本分类模型的训练装置，所述装置包括：

构建单元，用于构建分类任务的候选空间，并建立所述候选空间与所述分类任务的实际类别之间的映射关系；

转化单元，用于将有标注训练数据转化为掩蔽语言文本，其中，所述掩蔽语言文本中被掩蔽token属于预设的候选空间；

Token预测单元，用于将所述掩蔽语言文本输入至MLM模型中进行预测，得到所述掩蔽语言文本的被掩蔽token；

映射及更新单元，用于根据所述映射关系，将预测得到的被掩蔽token映射到实际类别中，得到所述待预测文本的分类结果；并根据所述分类结果，对所述MLM模型进行参数调整，以得到文本分类模型。

第三方面，本申请实施例还提供了一种文本分类方法，所述方法是采用上述任一所述的文本模型的训练方法得到的文本分类模型实现的。

第四方面，本申请实施例还提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一的方法。

第五方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述任一的方法。