[发明专利]一种神经网络训练方法、装置、计算设备及存储介质

说明书

本申请涉及一种神经网络训练方法、装置、计算设备及存储介质，其中，所述方法包括：获取第一神经网络模型和第二神经网络模型；根据该第一神经网络模型和该第二神经网络模型，对超网络在超网络的子网络维度以及子网络的网络层维度进行双网知识蒸馏的联合训练，得到目标神经网络；其中，该目标神经网络为已训练好的超网络。采用本申请，通过双网络联合知识蒸馏提高了网络性能。

技术领域

本申请涉及人工智能技术领域，尤其涉及神经网络训练方法、装置、计算设备及存储介质。

背景技术

知识蒸馏是模型压缩的一种常用的方法，通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。

发明内容

本申请提供了一种神经网络训练方法、网络搜索方法、数据识别方法、神经网络训练装置、网络搜索装置、数据识别装置、计算设备、以及存储介质。

根据本申请的一方面，提供了一种神经网络训练方法，包括：

获取第一神经网络模型和第二神经网络模型；

根据该第一神经网络模型和该第二神经网络模型，对超网络在超网络的子网络维度以及子网络的网络层维度进行双网知识蒸馏的联合训练，得到目标神经网络；其中，该目标神经网络为已训练好的超网络。

根据本申请的另一方面，提供了一种网络搜索方法，包括：

发起搜索请求，该搜索请求用于表征在算力约束条件下搜索目标神经网络的操作请求，其中，该目标神经网络为采用上述任一项得到的已训练好的超网络；

响应该搜索请求，得到该目标神经网络中满足该算力约束条件的子网络。

根据本申请的一方面，提供了一种数据识别方法，包括：

将数据输入目标神经网络，其中，该目标神经网络为采用上述任一项得到的已训练好的超网络；

根据该目标神经网络对该数据进行识别，得到目标数据；

其中，该数据包括：图像数据、视频数据、文本数据、语音数据中的至少一种。

根据本申请的一方面，提供了一种数据识别方法，包括：

将数据输入目标神经网络，其中，该目标神经网络为采用上述任一项得到的已训练好的超网络；

确定该目标神经网络中满足算力约束条件的子网络；

根据该子网络对该数据进行识别，得到目标数据；

其中，该数据包括：图像数据、视频数据、文本数据、语音数据中的至少一种。

根据本申请的另一方面，提供了一种神经网络训练装置，包括：

获取单元，用于获取第一神经网络模型和第二神经网络模型；

联合训练单元，用于根据该第一神经网络模型和该第二神经网络模型，对超网络在超网络的子网络维度以及子网络的网络层维度进行双网知识蒸馏的联合训练，得到目标神经网络；其中，该目标神经网络为已训练好的超网络。

根据本申请的另一方面，提供了一种网络搜索装置，包括：

搜索单元，用于发起搜索请求，该搜索请求用于表征在算力约束条件下搜索目标神经网络的操作请求，其中，该目标神经网络为采用上述任一项得到的已训练好的超网络；

响应单元，用于响应该搜索请求，得到该目标神经网络中满足该算力约束条件的子网络。

根据本申请的另一方面，提供了一种数据识别装置，包括：