[发明专利]信息处理方法、装置、计算机可读存储介质和计算机设备

说明书

本申请实施例公开了一种信息处理方法、装置、计算机可读存储介质和计算机设备，涉及互联网技术领域；通过获取目标样本；采用预设分类模型对目标样本进行分类处理，得到目标样本对应的第一类别概率分布；根据第一类别概率分布计算目标样本的困难系数，并基于困难系数对目标样本进行筛选，得到筛选后目标样本；采用训练后深度分类模型对筛选后目标样本进行分类处理，得到筛选后目标样本对应的第二类别概率分布；计算第二类别概率分布与第一类别概率分布之间的差异，并基于差异对预设分类模型进行收敛，得到训练后分类模型，该训练后分类模型用于对待处理信息进行分类。以此，在模型训练过程中提高了信息处理效率，进而提高了模型训练的效率。

技术领域

本申请涉及互联网技术领域，具体涉及一种信息处理方法、装置、计算机可读存储介质和计算机设备。

背景技术

自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能够实现人与计算机之间用自然语言进行有效通信的各种理论和方法。随着计算机技术以及人工智能技术的发展，人们对自然语言处理技术的要求也不断提高，相应的，对模型的性能要求也在提高。其中，为了可以得到性能较好且模型体积较小的模型，可以通过知识蒸馏(knowledge distillation，简称KD)对模型进行训练。

然而，在现有技术中，用于模型压缩的知识蒸馏技术在大规模语料上训练速度较慢，使得模型压缩部署所需的成本较高，在模型训练过程中信息处理效率较低，进而导致模型训练的效率较低。

发明内容

本申请实施例提供一种信息处理方法、装置、计算机可读存储介质和计算机设备，可以提高模型训练过程中信息处理的效率，进而提高模型训练的效率。

本申请实施例提供一种信息处理方法，包括：

获取目标样本；

采用预设分类模型对所述目标样本进行分类处理，得到所述目标样本对应的第一类别概率分布；

根据所述第一类别概率分布计算所述目标样本的困难系数，并基于所述困难系数对所述目标样本进行筛选，得到筛选后目标样本，所述困难系数表征预设分类模型输出所述目标样本对应的每一类别概率的不确定程度；

采用训练后深度分类模型对所述筛选后目标样本进行分类处理，得到所述筛选后目标样本对应的第二类别概率分布，所述训练后深度分类模型的网络深度大于预设分类模型的网络深度；

计算所述第二类别概率分布与所述第一类别概率分布之间的差异，并基于所述差异对预设分类模型进行收敛，得到训练后分类模型，所述训练后分类模型用于对待处理信息进行分类。

相应的，本申请实施例提供一种信息处理装置，包括：

获取单元，用于获取目标样本；

第一分类单元，用于采用预设分类模型对所述目标样本进行分类处理，得到所述目标样本对应的第一类别概率分布；

筛选单元，用于根据所述第一类别概率分布计算所述目标样本的困难系数，并基于所述困难系数对所述目标样本进行筛选，得到筛选后目标样本，所述困难系数表征预设分类模型输出所述目标样本对应的每一类别概率的不确定程度；

第二分类单元，用于采用训练后深度分类模型对所述筛选后目标样本进行分类处理，得到所述筛选后目标样本对应的第二类别概率分布，所述训练后深度分类模型的网络深度大于预设分类模型的网络深度；

计算单元，用于计算所述第二类别概率分布与所述第一类别概率分布之间的差异，并基于所述差异对预设分类模型进行收敛，得到训练后分类模型，所述训练后分类模型用于对待处理信息进行分类。

在一实施例中，所述筛选单元，包括：