[发明专利]模型结构的延时预测方法、装置以及电子设备

说明书

本申请公开了一种模型结构的延时预测方法、装置以及电子设备，涉及神经网络搜索领域。具体实现方案为：根据硬件延时查找表训练得到分类模型以及多个回归模型；将模型结构中的操作输入至分类模型中，得到操作对应的延时类别标签；将具有延时类别标签的操作输入至延时类别对应的回归模型中，得到预测延时。由于分类模型和多个回归模型可以通过硬件延时查找表中的操作进行训练，利用训练好的分类模型和回归模型预测任意操作的延时。通过有限的采样预测任意操作延时，非常高效的评估任意模型结构的延时，无需直接连接硬件设备来评估模型结构的延时，解决了建立传统硬件查找表耗时导致延时测试效率较低的技术问题。

技术领域

本申请涉及一种计算机视觉领域，尤其涉及一种神经网络搜索领域。

背景技术

深度学习技术在很多方向上都取得了巨大的成功，最近几年NAS技术(NeuralArchitecture Search，神经网络架构搜索)成为研究热点。NAS是用算法代替繁琐的人工操作，在海量的搜索空间中自动搜索出最佳的神经网络架构。在实际的搜索任务中需要考虑到很多约束条件，比如模型结构在指定硬件上的延时。获取模型结构在特定硬件的延时的方案，可以包括通过直接连接硬件设备来测试模型的延时。然而，直接连接硬件测试延时非常不方便。此外，在分布式搜索时，需要连接非常多的硬件设备来测试延时，硬件设备会由于长时间工作发热导致测试结果不准确，同时模型结构自动搜索的时间较长。

目前，通常采用在硬件设备上建立延时查找表的方法，来测试模型结构的延时。然而，在搜索空间较大时，获取搜索空间中包含的所有操作，根据大量的操作建立延时查找表。由于建表需要花费几个月甚至几年的时间，导致该方案在实际应用中有很大的局限性，只适合搜索空间非常小的场景，不适合搜索空间较大的场景。

发明内容

本申请的实施例提供了一种模型结构的延时预测方法、装置以及电子设备，以解决现有技术中的一个或多个技术问题。

第一方面，本申请实施例提供了一种模型结构的延时预测方法，其特征在于，包括：

根据硬件延时查找表训练得到分类模型以及多个回归模型；

将模型结构中的操作输入至分类模型中，得到操作对应的延时类别标签；

将具有延时类别标签的操作输入至延时类别对应的回归模型中，得到预测延时。

在本实施方式中，由于分类模型和多个回归模型可以通过硬件延时查找表中的操作进行训练，利用训练好的分类模型和回归模型预测任意操作的延时。通过有限的采样预测任意操作延时，非常高效的评估任意模型结构的延时，无需直接连接硬件设备来评估模型结构的延时，解决了建立传统硬件查找表耗时导致延时测试效率较低的技术问题。

在一种实施方式中，根据硬件延时查找表训练得到分类模型以及多个回归模型，包括：

根据硬件延时查找表建立训练集和测试集，训练集和测试集不相交；

利用训练集训练得到分类模型；

利用测试集评估分类模型的分类准确率；

在分类准确率小于第一阈值的情况下，扩大训练集，利用扩大后的训练集训练分类模型，直至分类准确率大于或等于第一阈值的情况下，结束训练。

在本实施方式中，通过测试集判断分类模型的分类准确性，并根据扩大的训练集调整分类模型的分类准确性，提高分类模型的分类精度。

在一种实施方式中，利用测试集评估分类模型的分类准确率，包括：

获取测试集对应的多个真实类别；

将测试集输入至分类模型中，得到多个预测类别；

将各预测类别与各真实类别比较，得到分类模型的分类准确率。