[发明专利]一种使用子内核搜索模块优化设备上神经网络模型的方法和装置

权利要求书

1.一种使用子内核搜索模块优化设备上神经网络模型的方法，其包括：

(a)在将具有能够使用安装有神经网络模型的边缘设备允许的最大计算能力执行目标任务的最大容量的大神经网络模型训练成针对输入的输入数据生成第1推理结果的状态下，获得学习数据时，学习装置执行或支持执行如下处理：将所述学习数据输入到子内核搜索模块，使所述子内核搜索模块(i)确认与所述学习数据对应的至少一个约束，其中，所述约束包括至少适用于运算量、参数、延迟、准确度和浮点运算数中的一个的约束，(ii)生成与所述学习数据对应的状态向量，其中，所述状态向量至少包括针对所述学习数据的复杂度和清晰度中的一个的信息，(iii)生成由能够对在所述约束下具有所述状态向量的所述学习数据执行所述目标任务的最小内核大小和最小通道数组成的特定子内核的架构信息，其中，所述特定子内核是对应于所述大神经网络模型的所述最大容量的超内核的子集，由小于等于所述超内核的内核大小和小于等于所述超内核的通道数组成；

(b)所述学习装置执行或支持执行如下处理：(i)参考所述特定子内核的所述架构信息优化所述大神经网络模型，以从所述大神经网络模型生成具有所述特定子内核的所述架构信息的特定小神经网络模型，(ii)使所述特定小神经网络模型生成针对所述学习数据的第2推理结果；以及

(c)所述学习装置执行或支持执行如下处理：参考所述第1推理结果和所述第2推理结果生成至少一个第1损失，使用所述第1损失训练所述子内核搜索模块。

2.根据权利要求1所述的方法，其特征在于，在所述(a)中：

所述学习装置执行或支持执行如下处理：使所述子内核搜索模块(i)通过场景概览模块生成与所述学习数据对应的多个场景特征，并生成与多个所述场景特征对应的所述状态向量，(ii)通过子内核网络生成器生成由能够对在所述约束下具有所述状态向量的所述学习数据执行所述目标任务的所述最小内核大小和所述最小通道数组成的所述特定子内核的所述架构信息。

3.根据权利要求2所述的方法，其特征在于：

所述学习装置执行或支持执行如下处理：(i)在给定的所述约束下通过所述第1损失进行反向传播来训练所述场景概览模块和所述子内核网络生成器以最小化所述第1损失，(ii)参考所述状态向量和与之对应的真实数据生成至少一个第2损失，进一步训练所述场景概览模块以最小化所述第2损失。

4.根据权利要求2所述的方法，其特征在于：

所述场景概览模块由卷积神经网络组成，所述子内核网络生成器由循环神经网络组成，

所述学习装置执行或支持执行如下处理：对所述场景概览模块和所述子内核网络生成器分别进行训练或同时进行训练。

5.根据权利要求4所述的方法，其特征在于：

所述学习装置执行或支持执行如下处理：通过所述场景概览模块的所述卷积神经网络对所述学习数据适用至少一个卷积运算、至少一个池化运算和至少一个全连接运算使得生成与所述学习数据对应的多个所述场景特征。

6.根据权利要求1所述的方法，其特征在于，在所述(b)中：

所述学习装置执行或支持执行如下处理：根据所述特定子内核的所述架构信息调整所述大神经网络模型的所述超内核的内核高度、内核宽度和通道数中的至少一个以优化所述大神经网络模型，以生成具有所述特定子内核的所述架构信息的所述特定小神经网络模型。

7.根据权利要求1所述的方法，其特征在于：

所述学习装置执行或支持执行如下处理：参考所述第1推理结果和所述第2推理结果，在所述第1推理结果和所述第2推理结果的差值超过预设基准值时，将所述学习数据和所述特定小神经网络模型的所述架构信息传输到服务器，以使所述服务器将所述学习数据标记为所述特定小神经网络模型中的难样本并添加到学习数据库中。