[发明专利]模型超参数的确定方法及设备、计算设备和介质

说明书

本公开提供一种神经网络模型的超参数确定方法及设备、计算设备和介质，涉及人工智能技术领域，具体涉及深度学习、计算机视觉技术领域，可用于图像处理场景。该神经网络模型的超参数确定方法包括：在神经网络模型中构建多个搜索空间；针对多个搜索空间中的每一个搜索空间，分别获取相对应的超参数取值集合；获取由编码器生成的一组编码，其中一组编码中的编码个数与多个搜索空间的个数相同；以及根据一组编码和所获取的超参数取值集合确定每一个搜索空间所对应的超参数值。

技术领域

本公开涉及人工智能技术领域，具体涉及深度学习、计算机视觉，可用于图像处理场景，特别涉及一种神经网络模型的超参数确定方法及设备、计算设备和介质。

背景技术

训练深度神经网络非常复杂，因为在训练过程中，随着先前各层的参数发生变化，各层输入的分布也会发生变化。这需要较低的学习率和谨慎的参数初始化，从而减慢了训练速度，并且很难训练具有饱和非线性的模型。我们将此现象称为内部协变量偏移，并通过归一化层输入来解决该问题。可以通过将归一化作为模型体系结构的一部分并针对每个训练小批量执行归一化来汲取其优势。批量归一化(Batch Normalization，BN)使得可以使用更高的学习率，并且在参数初始化时不必那么小心。

BN参数对于模型的训练速度以及模型的最终精度影响非常大，然而，通过人工调参的方式很难调试出较优的BN参数。在现有的应用中，模型每层通常采用同样的BN参数，而模型结构往往有几十层甚至上百层，所有层采用同样的BN策略，模型的精度会很差。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

根据本公开的一个方面，提供了一种神经网络模型的超参数确定方法，包括：在所述神经网络模型中构建多个搜索空间；针对所述多个搜索空间中的每一个搜索空间，分别获取相对应的超参数取值集合；获取由编码器生成的一组编码，其中所述一组编码中的编码个数与所述多个搜索空间的个数相同；以及根据所述一组编码和所获取的超参数取值集合确定每一个所述搜索空间所对应的超参数值。

根据本公开的另一个方面，提供了一种神经网络模型的超参数确定设备，包括：搜索空间构建单元，配置为在所述神经网络模型中构建多个搜索空间；第一获取单元，配置为针对所述多个搜索空间中的每一个搜索空间，分别获取相应的超参数取值集合；第二获取单元，配置为获取由编码器生成的一组编码，其中所述一组编码中的编码个数与所述多个搜索空间的个数相同；以及第一确定单元，配置为根据所述一组编码和所获取的超参数取值集合确定每一个所述搜索空间所对应的超参数值。

根据本公开的又一个方面，提供了一种计算设备，包括：处理器；以及存储程序的存储器，该程序包括指令，该指令在由处理器执行时使处理器执行本公开所述的神经网络模型的超参数确定方法。

根据本公开的又一个方面，提供了一种存储程序的计算机可读存储介质，该程序包括指令，该指令在由计算设备的处理器执行时，致使计算设备执行本公开所述的神经网络模型的超参数确定方法。

根据本公开的一个方面，上述神经网络模型的超参数确定方法，通过引入的搜索空间，自动确定不同搜索空间内的相关超参数值，从而实现为模型自动设置一组超参数值，提升了模型在特定硬件上的速度和精度。

根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。