[发明专利]标签分类方法、装置、电子设备和存储介质

说明书

本申请适用于自然语言处理技术领域，提供了一种标签分类方法、装置、电子设备和计算机可读存储介质。该方法包括：确定待处理数据和小样本数据集中的每个标准数据之间的第一相似度，获得待处理数据的相似度阈值；根据相似度阈值以及目标阈值，得到待处理数据的实际阈值；确定待处理数据和小样本数据集的每个标签之间的第二相似度；根据第二相似度和实际阈值，确定待处理数据具备的标签。本申请将用于第二场景标签分类的目标阈值迁移到待处理数据的所属的第一场景中，得到待处理数据的实际阈值；并根据该实际阈值确定待处理数据的标签，无需使用大量样本对待处理数据的场景进行模型训练，既降低了模型的场景迁移成本，又能保证标签分类的准确性。

技术领域

本申请属于自然语言处理技术领域，尤其涉及一种标签分类方法、装置、电子设备和计算机可读存储介质。

背景技术

多标签分类问题是自然语言处理中一个常见的问题，例如，用户的一句话里可能包含多种意图，如何确定意图的数量并准确捕获每一种意图就是多标签分类的其中一种用途。

目前，效果最理想的方法就是为每一种意图训练一个分类模型，再选取合适的阈值，如果文本在某个意图预测分类模型下的概率大于该阈值，则认为该文本包含该意图。

对于有充足样本数据的场景而言，上述方法可以取得不错的效果。但是，设置好的阈值不具备普适性，在一场景得到的阈值很难直接迁移到另一场景。上述方法就要求对于每个场景都要获得合适的阈值，为此，每个分类模型都需要大量的标注数据进行训练，而要满足多个分类模型对训练样本的需求是比较困难的。

发明内容

本申请实施例提供了一种标签分类方法、装置、电子设备和计算机可读存储介质，可以将第二场景的阈值迁移到待处理数据的第一场景中，以获得待处理数据的标签。

第一方面，本申请实施例提供了一种标签分类方法，包括：

获取待处理数据；

确定所述待处理数据和小样本数据集中的每个标准数据之间的第一相似度，所述标准数据为已标注标签且与所述待处理数据同属于第一场景的数据；

根据所述第一相似度，获得所述待处理数据的相似度阈值；

根据所述相似度阈值以及目标阈值，得到所述待处理数据的实际阈值，所述目标阈值为用于对第二场景的数据进行标签分类的阈值；

确定所述待处理数据和所述小样本数据集的每个标签之间的第二相似度；

根据所述第二相似度和所述实际阈值，确定所述待处理数据具备的标签。

进一步的，根据所述待处理数据的相似度阈值以及目标阈值，得到所述待处理数据的实际阈值之前，还包括：

获取所述第二场景的每个数据与每个标签的第三相似度；

根据所述第三相似度的数值分布，得到所述目标阈值。

示例性的，若所述第二场景的数据为文本，则获取所述第二场景的每个数据与每个标签的第三相似度，包括：

获取所述第二场景的每个标签的标签名称Y_i；

通过预训练语言模型分别对所述第二场景的每个文本x_i和相应标签的标签名称Y_i进行编码，得到文本向量表示E(x_i)和标签名称向量表示E(Y_i)；

所述第二场景的每个标签的向量表示为：

其中α为预设的第一超参数；

通过所述向量表示确定所述第二场景的每个文本与每个标签的第三相似度f(x_i,Y_j)＝Cosin(E(x_i),e_j)。