[发明专利]文本分类及模型训练的方法、装置、设备以及存储介质

说明书

本公开提供了一种文本分类及模型训练的方法、装置、设备以及存储介质，涉及计算机技术领域，尤其涉及智能搜索、大数据及深度学习等领域。具体实现方案为：获取待分类文本；将待分类文本输入预先训练好的深度学习模型，通过深度学习模型得到待分类文本的分类结果，深度学习模型是基于多个训练样本分别对应的权重信息训练得到的，针对一训练样本，权重信息包括训练样本的多个样本标签之间的局部注意力权重和训练样本和各个样本标签的互注意力权重。该深度学习模型是考虑样本标签之间的局部注意力权重和训练样本和各个样本标签的互注意力权重而训练得到的，因此使用该深度学习模型能够提升分类精度。

技术领域

本公开涉及计算机技术领域，尤其涉及智能搜索、大数据及深度学习等领域。

背景技术

用户query(查询词)分类在搜索引擎和广告推荐等领域起着至关重要的作用。精准识别用户query类别，不仅能够更好地满足用户需求和体验，而且能够提升广告点击率与转化率等商业收益。

发明内容

本公开提供了一种文本分类及模型训练的方法、装置、设备以及存储介质。

根据本公开的第一方面，提供了一种文本分类方法，包括：

获取待分类文本；

将所述待分类文本输入预先训练好的深度学习模型，通过所述深度学习模型得到所述待分类文本的分类结果，所述分类结果包括至少一个类别标签组成的序列，所述深度学习模型是基于多个训练样本分别对应的权重信息训练得到的，针对一训练样本，所述权重信息包括所述训练样本的多个样本标签之间的局部注意力权重和所述训练样本和各个样本标签的互注意力权重。

根据本公开的第二方面，提供了一种用于文本分类的深度学习模型的训练方法，包括：

获取多个训练文本和各个训练文本的样本标签；

针对各个训练文本，将所述训练文本和所述样本标签输入初始模型；

通过所述初始模型，确定所述训练样本的多个样本标签之间的局部注意力权重和所述训练样本和各个样本标签的互注意力权重；

基于各个训练样本的所述局部注意力权重和所述互注意力权重，训练所述初始模型，得到训练好的深度学习模型。

根据本公开的第三方面，提供了一种文本分类装置，包括：

第一获取模块，用于获取待分类文本；

第一输入模块，用于将所述待分类文本输入预先训练好的深度学习模型；

结果获取模块，用于通过所述深度学习模型得到所述待分类文本的分类结果，所述分类结果包括至少一个类别标签组成的序列，所述深度学习模型是基于多个训练样本分别对应的权重信息训练得到的，针对一训练样本，所述权重信息包括所述训练样本的多个样本标签之间的局部注意力权重和所述训练样本和各个样本标签的互注意力权重。

根据本公开的第四方面，提供了一种用于文本分类的深度学习模型的训练装置，包括：

第二获取模块，用于获取多个训练文本和各个训练文本的样本标签；

第二输入模块，用于针对各个训练文本，将所述训练文本和所述样本标签输入初始模型；

确定模块，用于通过所述初始模型，确定所述训练样本的多个样本标签之间的局部注意力权重和所述训练样本和各个样本标签的互注意力权重；

训练模块，用于基于各个训练样本的所述局部注意力权重和所述互注意力权重，训练所述初始模型，得到训练好的深度学习模型。

根据本公开的第五方面，提供了一种电子设备，包括：

至少一个处理器；以及