[发明专利]检测数据和训练分类模型的方法、装置、设备和存储介质

说明书

本公开公开了一种检测数据和训练分类模型的方法、装置、设备和存储介质，应用于计算机技术领域，具体应用于智能语音领域、自然语言处理领域、深度学习领域和云计算领域。检测数据的方法的具体实现方案为：采用特征提取模型提取待检测数据的特征向量；基于特征向量，采用至少两个分类模型分别得到针对待检测数据的至少两个分类置信度，该至少两个分类置信度包括：待检测数据表达多个预定意图的置信度中取值最大的第一置信度以及待检测数据属于集内数据的第二置信度；基于至少两个分类置信度和置信度阈值，确定待检测数据是否为集内数据；以及在确定待检测数据为集内数据的情况下，确定待检测数据表达的意图为与第一置信度对应的预定意图。

技术领域

本公开涉及计算机技术领域，具体涉及智能语音领域、自然语言处理领域、深度学习领域和云计算领域，更具体地涉及一种检测数据的方法、装置、设备和存储介质，以及一种训练分类模型的方法、装置、设备和存储介质。

背景技术

随着计算机技术的发展，人工智能融入社会与生产中，成为提高生产力的途径之一，也是未来的发展方向之一。为了向用户提供更好的服务，基于人工智能技术的智能客服系统随之产生。

智能客服是在大规模知识处理基础上发展起来的一项面向各行业的应用。在智能客服系统中，意图识别是了解用户需求的重要过程。若该智能客服系统采集到的用户输入数据为系统不支持的集外数据，则可能会导致系统产生级联错误，从而错误理解用户的需求，给用户带来较差的体验。

发明内容

提供了一种提高意图检测准确性的检测数据的方法、装置、设备和存储介质，以及一种训练用于检测数据的分类模型的方法、装置、设备和存储介质。

根据第一方面，提供了一种检测数据的方法，该方法包括：采用特征提取模型提取待检测数据的特征向量；基于特征向量，采用至少两个分类模型分别得到针对待检测数据的至少两个分类置信度，该至少两个分类置信度包括：待检测数据表达多个预定意图的置信度中取值最大的第一置信度以及待检测数据属于集内数据的第二置信度；基于至少两个分类置信度和置信度阈值，确定待检测数据是否为集内数据；以及在确定待检测数据为集内数据的情况下，确定待检测数据表达的意图为与第一置信度对应的预定意图。

根据第二方面，提供了一种训练分类模型的方法，该方法包括：获取历史数据集，该历史数据集包括多个集内数据和多个集外数据；以多个集内数据中预定数量的集内数据作为训练样本，训练初始特征提取模型、第一分类模型和至少一个第二分类模型，得到特征提取模型、预训练的第一分类模型和训练好的至少一个第二分类模型，其中，第一分类模型分配有取值为预定值的平滑因子；以及以历史数据集中除预定数量的集内数据外的其他数据作为验证样本，基于预定正样本率调整平滑因子的取值，得到训练好的第一分类模型，其中，在训练过程中，第一分类模型的输出信息包括输入初始特征提取模型的数据表达多个预定意图的置信度中取值最大的置信度；至少一个第二分类模型的输出信息包括输入所述初始特征提取模型的数据属于集内数据的置信度。

根据第三方面，提供了一种检测数据的装置，该装置包括：特征向量提取模块，用于采用特征提取模型提取待检测数据的特征向量；置信度获得模块，用于基于特征向量，采用至少两个分类模型分别得到针对待检测数据的至少两个分类置信度，该至少两个分类置信度包括：待检测数据表达多个预定意图的置信度中取值最大的第一置信度以及待检测数据属于集内数据的第二置信度；数据确定模块，用于基于至少两个分类置信度和置信度阈值，确定待检测数据是否为集内数据；以及意图确定模块，用于在确定待检测数据为集内数据的情况下，确定待检测数据表达的意图为第一置信度对应的预定意图。