[发明专利]一种神经网络训练方法、系统、设备以及介质

权利要求书

1.一种神经网络训练方法，其特征在于，包括以下步骤：

获取每一个超参数对应的初始搜索范围；

利用预设的搜索策略在每一个所述初始搜索范围中搜索对应的超参数以得到多组超参数组合；

利用所述多组超参数组合对模型进行训练并根据训练结果筛选出若干个超参数组合；

根据所述若干个超参数组合确定每一个超参数对应的搜索范围，以再次利用所述预设的搜索策略在每一个所述搜索范围内再次进行搜索进而再次得到多组超参数组合；

利用再次得到的多组超参数组合对模型进行训练并根据训练结果筛选出最终的超参数组合；

利用所述最终的超参数组合对所述模型进行训练；

其中，获取每一个超参数对应的初始搜索范围，进一步包括：

获取第一类超参数预设的搜索范围；

根据所述模型的结构计算所述预设的搜索范围内不同取值的第一类超参数对应的内存占用量；

根据系统的内存阈值以及计算得到的内存占用量筛选所述预设的搜索范围以得到所述初始搜索范围；

其中，根据系统的内存阈值以及计算得到的内存占用量筛选所述预设的搜索范围以得到所述初始搜索范围，进一步包括：

根据系统的内存阈值以及计算得到的内存占用量筛选所述预设的搜索范围得到第一搜索范围；

从所述第一搜索范围中的最大值开始依次进行单轮训练并判断是否出现显存溢出问题；

响应于没有出现所述显存溢出问题，将所述第一搜索范围作为所述初始搜索范围；

响应于出现所述显存溢出问题，将未出现所述显存溢出问题对应的最大值作为所述初始搜索范围的最大值。

2.如权利要求1所述的方法，其特征在于，利用预设的搜索策略在每一个所述初始搜索范围中搜索对应的超参数以得到多组超参数组合，进一步包括：

将每一个超参数对应的初始搜索范围随机分为多个子搜索范围；

在所述子搜索范围内进行搜索以得到多组超参数组合。

3.如权利要求2所述的方法，其特征在于，根据所述若干个超参数组合确定每一个超参数对应的搜索范围，以再次利用所述预设的搜索策略在每一个所述搜索范围内进行再次搜索进而再次得到多组超参数组合，进一步包括：

根据所述训练结果确定每一个超参数对应的子搜索范围，以确定的子搜索范围作为再次搜索的搜索范围。

4.一种神经网络训练系统，其特征在于，包括：

获取模块，配置为获取每一个超参数对应的初始搜索范围；

搜索模块，配置为利用预设的搜索策略在每一个所述初始搜索范围中搜索对应的超参数以得到多组超参数组合；

第一训练模块，配置为利用所述多组超参数组合对模型进行训练并根据训练结果筛选出若干个超参数组合；

确定模块，配置为根据所述若干个超参数组合确定每一个超参数对应的搜索范围，以再次利用所述预设的搜索策略在每一个所述搜索范围内再次进行搜索进而再次得到多组超参数组合；

筛选模块，配置为利用再次得到的多组超参数组合对模型进行训练并根据训练结果筛选出最终的超参数组合；

第二训练模块，配置为利用所述最终的超参数组合对所述模型进行训练；

其中，所述获取模块还配置为：

获取第一类超参数预设的搜索范围；

根据所述模型的结构计算所述预设的搜索范围内不同取值的第一类超参数对应的内存占用量；

根据系统的内存阈值以及计算得到的内存占用量筛选所述预设的搜索范围以得到所述初始搜索范围；

其中，所述获取模块还配置为：

根据系统的内存阈值以及计算得到的内存占用量筛选所述预设的搜索范围得到第一搜索范围；

从所述第一搜索范围中的最大值开始依次进行单轮训练并判断是否出现显存溢出问题；

响应于没有出现所述显存溢出问题，将所述第一搜索范围作为所述初始搜索范围；

响应于出现所述显存溢出问题，将未出现所述显存溢出问题对应的最大值作为所述初始搜索范围的最大值。

5.一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-3任意一项所述的方法的步骤。

6.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-3任意一项所述的方法的步骤。