[发明专利]用于评估识别模型的效能的方法和电子装置

说明书

提供一种用于评估识别模型的效能的方法和电子装置。该方法包含：取得来源数据样本、多个测试数据以及目标数据样本；将多个测试数据输入基于来源数据样本训练的预训练模型，以取得正常样本和异常样本；转换来源数据样本以产生经转换来源数据样本，转换正常样本以产生经转换正常样本，并且转换异常样本以产生经转换异常样本；依据经转换来源数据样本和目标数据样本微调预训练模型，以取得识别模型；以及将经转换正常样本和经转换异常样本输入识别模型以评估识别模型的效能。借此，可让使用者在不收集大量的测试数据的情况下完成识别模型的效能评估。

技术领域

本公开涉及一种方法和电子装置，具体地说，涉及一种用于评估识别模型的效能的方法和电子装置。

背景技术

当使用机器学习演算法训练识别模型时，取得训练识别模型所需的样本时常需要花费大量的时间，迁移学习(transfer learning)于是被提出。迁移学习可以将针对特定任务预训练的既有识别模型利用在其他不同的任务上。举例来说，用于辨识汽车的识别模型可基于迁移学习而被微调(fine-tune)为用于辨识船只的识别模型。

在评估识别模型的效能时，使用者往往需为识别模型收集包含正常样本和异常样本的测试数据，方能计算出用于评估识别模型的效能的指标。然而，异常样本(例如：具有瑕疵的物件的外观图像)的收集往往需花费大量的时间。以图1为例，图1示出评估基于迁移学习的识别模型B的效能的示意图。由多个三角形图像(即：来源数据样本)所预训练出的识别模型A用于识别三角形图像。预训练好的识别模型A的参数可经由学习迁移(learningtransfer)而成为识别模型B的初始参数。再利用多个五边形图像(即：目标数据样本)微调后，基于迁移学习的识别模型B可用于识别五边形图像。为了评估识别模型B的效能，使用者应收集作为许多正常样本以及异常样本以作为识别模型B的测试数据，其中正常样本例如是五边形图像，并且异常样本例如为非五角形的图像(例如：六边形图像)。然而，异常样本的收集往往需花费大量的时间。

发明内容

本公开提供一种用于评估识别模型的效能的方法和电子装置，可在不需收集大量的测试数据的情况下评估识别模型的效能。

本公开提供一种用于评估识别模型的效能的方法，其包含：取得来源数据样本、多个测试数据以及目标数据样本；将多个测试数据输入基于来源数据样本训练的预训练模型，以取得正常样本和异常样本；转换来源数据样本以产生经转换来源数据样本，转换正常样本以产生经转换正常样本，并且转换异常样本以产生经转换异常样本；依据经转换来源数据样本和目标数据样本调整预训练模型，以取得识别模型；以及将经转换正常样本和经转换异常样本输入识别模型以评估识别模型的效能。

在本公开内容的一实施例中，转换所述来源数据样本以产生所述经转换来源数据样本的步骤包括：增加一噪声至所述来源数据样本以产生所述经转换来源数据样本。

在本公开内容的一实施例中，转换所述来源数据样本以产生所述经转换来源数据样本的步骤包括：对所述来源数据样本实施一转换程序以将所述来源数据样本转换成所述经转换来源数据样本，其中所述转换程序包括下列的至少其中之一：x轴剪切、y轴剪切、x轴平移、y轴平移、旋转、左右翻转、上下翻转、曝光、色调分离、对比调整、亮度调整、清晰度调整、模糊化、平滑化、边缘锐化、自动对比调整、色彩反转、直方图均衡化、剪挖、裁切、尺寸调整以及合成。

在本公开内容的一实施例中，转换所述正常样本以产生所述经转换正常样本，并且转换所述异常样本以产生所述经转换异常样本的步骤包括：对所述正常样本实施所述转换程序以产生所述经转换正常样本，并且对所述异常样本实施所述转换程序以产生所述经转换异常样本。

在本公开内容的一实施例中，将所述经转换正常样本和所述经转换异常样本输入所述识别模型以评估所述识别模型的效能的步骤包括：将所述经转换正常样本和所述经转换异常样本输入所述识别模型以产生一接收器操作特征曲线；以及根据所述接收器操作特征曲线来评估所述效能。