[发明专利]分布外数据检测方法、装置、服务器及存储介质

说明书

本发明实施例公开了一种分布外数据检测方法、装置、服务器及存储介质，所述方法包括：获取待检测数据；对待检测数据进行编码处理，得到低维特征数据；基于预设第一内存数据对低维特征数据进行处理，得到第一低维数据；基于预设第二内存数据对低维特征数据进行处理，得到第二低维数据；基于第一低维数据和第二低维数据生成待解码数据；对待解码数据进行解码处理，得到重构数据；确定待检测数据和重构数据的重构误差，若重构误差大于预设阈值，则确定待检测数据为分布外数据。本发明实施例限制了自编码器对OOD数据的重构能力，提高了ID数据和OOD数据的重构误差的差异，从而提升OOD数据识别的准确性。

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种分布外数据检测方法、装置、服务器及存储介质。

背景技术

在机器学习领域，用于训练模型的数据通常被称为分布内(In-distribution，ID)数据，而分布外(Out-of-distribution，OOD)数据是指和训练的ID数据分布不一致的数据。在神经网络模型的实际应用中，输入数据中有时存在OOD数据，这会导致模型预测不准确，进而限制神经网络模块的应用。因此，对机器学习模型的输入数据进行OOD数据检测是提高模型预测准确率的一种重要手段。

目前，OOD数据的检测主要采用基于自编码器的OOD检测算法。自编码器使用ID数据进行训练，故而其对ID数据具有较好的重构效果，但不能够很好的重构OOD数据。因此，当自编码器的输入数据和重构后的输出数据之间误差较大时，即可认为输入数据为OOD数据。然而，由于自编码器的泛化能力过强，即使是训练数据分布外的OOD数据也可能重构得很好，这就导致自编码器无法很好的检测出OOD数据。

发明内容

有鉴于此，本发明实施例提供一种分布外数据检测方法、装置、服务器及存储介质，以降低自编码器对分布外数据的重构能力，提高分布外数据检测的准确性。

第一方面，本发明实施例提供一种分布外数据检测方法，包括：

获取待检测数据；

对所述待检测数据进行编码处理，得到低维特征数据；

基于预设第一内存数据对所述低维特征数据进行处理，得到第一低维数据；

基于预设第二内存数据对所述低维特征数据进行处理，得到第二低维数据；

基于所述第一低维数据和所述第二低维数据生成待解码数据；

对所述待解码数据进行解码处理，得到重构数据；

确定所述待检测数据和所述重构数据的重构误差，若所述重构误差大于预设阈值，则确定所述待检测数据为分布外数据。

进一步的，所述基于预设第一内存数据对所述低维特征数据进行处理，得到第一低维数据包括：

计算所述低维特征数据与预设第一内存数据的第一余弦相似度；

基于所述第一余弦相似度对所述预设第一内存数据进行加权处理，得到第一低维数据。

进一步的，所述基于预设第二内存数据对所述低维特征数据进行处理，得到第二低维数据包括：

根据所述低维特征数据的标签和预设第二内存数据确定目标第二内存数据；

基于所述目标第二内存数据对所述低维特征数据进行处理，得到第二低维数据。

进一步的，所述根据所述低维特征数据的标签和预设第二内存数据确定目标第二内存数据包括：

确定所述低维特征数据的标签；

将所述预设第二内存数据中标签与所述低维特征数据的标签相同的数据作为目标第二内存数据。