[发明专利]模型超参数的确定方法及设备、计算设备和介质

权利要求书

1.一种神经网络模型的超参数确定方法，包括：

在所述神经网络模型中构建多个搜索空间；

针对所述多个搜索空间中的每一个搜索空间，分别获取相应的超参数取值集合；

获取由编码器生成的一组编码，其中所述一组编码中的编码个数与所述多个搜索空间的个数相同；以及

根据所述一组编码和所获取的超参数取值集合确定每一个所述搜索空间所对应的超参数值。

2.如权利要求1所述的方法，还包括：

基于所确定的超参数值对所述神经网络模型进行训练；

响应于所述神经网络模型收敛，获取所述神经网络模型的训练精度；

响应于未达到编码器更新预设条件，根据所述训练精度更新所述编码器以生成新的一组编码；以及

根据所述新的一组编码和所述所获取的超参数取值集合确定每一个所述搜索空间所对应的超参数值。

3.如权利要求1所述的方法，其中，所述多个搜索空间包括粗粒度空间和/或细粒度空间，其中，

在所述粗粒度空间中，一层或多层网络共享同一个超参数值；以及

在所述细粒度空间中，一个通道或多个通道共享同一个超参数值。

4.如权利要求2所述的方法，其中，所述编码器基于神经网络模型。

5.如权利要求2所述的方法，其中，所述编码器更新预设条件包括以下中的一个或多个：所述神经网络模型的训练精度达到预设精度、所述编码器的更新次数达到预设次数。

6.如权利要求1所述的方法，其中，所述编码器生成的编码的取值与所述超参数取值集合的集合大小相对应。

7.如权利要求1所述的方法，其中，所述超参数包括批量归一化超参数。

8.一种神经网络模型的超参数确定设备，包括：

搜索空间构建单元，配置为在所述神经网络模型中构建多个搜索空间；

第一获取单元，配置为针对所述多个搜索空间中的每一个搜索空间，分别获取相应的超参数取值集合；

第二获取单元，配置为获取由编码器生成的一组编码，其中所述一组编码中的编码个数与所述多个搜索空间的个数相同；以及

第一确定单元，配置为根据所述一组编码和所获取的超参数取值集合确定每一个所述搜索空间所对应的超参数值。

9.如权利要求8所述的设备，还包括：

训练单元，配置为基于所述确定的超参数值对所述神经网络模型进行训练；

第一响应单元，配置为响应于所述神经网络模型收敛，获取所述神经网络模型的训练精度；

第二响应单元，配置为响应于未达到编码器更新预设条件，根据所述训练精度更新所述编码器以生成新的一组编码；以及

第二确定单元，配置为根据所述新的一组编码和所述所获取的超参数取值集合确定每一个所述搜索空间所对应的超参数值。

10.如权利要求8所述的设备，其中，所述多个搜索空间包括粗粒度空间和/或细粒度空间，其中，

在所述粗粒度空间中，一层或多层网络共享同一个超参数值；以及

在所述细粒度空间中，一个通道或多个通道共享同一个超参数值。

11.如权利要求9所述的设备，其中，所述编码器基于神经网络模型。

12.如权利要求9所述的设备，其中，所述编码器更新预设条件包括以下中的一个或多个：所述神经网络模型的训练精度达到预设精度、所述编码器的更新次数达到预设次数。

13.如权利要求8所述的设备，其中，所述编码器生成的编码的取值与所述超参数取值集合的集合大小相对应。

14.如权利要求8所述的设备，其中，所述超参数包括批量归一化超参数。