[发明专利]深度学习模型的探索方法及装置

说明书

本发明公开一种深度学习模型的探索方法及装置，该方法包括：确定一个云计算资源作为主节点以及多个其他云计算资源作为多个从节点，其中，主节点用于调度多个从节点对深度学习模型执行训练操作；基于每个从节点对深度学习模型执行训练操作，得到该从节点的训练结果，每个从节点的训练结果包括目标深度学习模型以及该目标深度学习模型的评分，每个从节点的训练结果包括的目标深度学习模型为训练后的深度学习模型；根据所有训练结果包括的评分从所有目标深度学习模型中确定最优深度学习模型。可见，实施本发明能够实现并行进行深度学习模型的训练操作，提高深度学习模型训练的效率，减少训练的时间，有利于深度学习模型探索技术在业务场景中的应用。

技术领域

本发明涉及深度学习技术领域，尤其涉及一种深度学习模型的探索方法及装置。

背景技术

近年，深度学习技术由于具有能够降低用户使用复杂度和用户技术理解难度的特性，被快速应用到各个行业的业务场景中。又由于应用深度学习技术的业务场景具有多变性，所以为了充分挖掘深度学习技术的潜力，提高深度学习技术在实际应用中的精度，针对不同的业务场景训练得到适用于该业务场景的深度学习模型显得尤为重要。

实际应用中，为得到适用于特定业务场景的深度学习模型，可以通过进行深度学习模型探索(通过不断地对各种深度学习网络结构和各种超参数进行训练与验证，然后从训练与验证结果中选取出最优的深度学习模型)的方式来得到适合的深度学习模型。然而，由于进行深度学习模型的探索需要大量的计算资源、深度学习模型生成和训练的过程有较高的关联性、深度学习模型的生成过程的串行度高等因素，现有的深度学习模型的探索方法的效率较低、探索时间较长，不利于深度学习模型的探索技术在业务场景中的应用。

发明内容

本发明所要解决的技术问题在于，提供一种深度学习模型的探索方法及装置，能够确定多个云计算资源来并行进行深度学习模型的训练操作，从而提高深度学习模型训练的效率，减少训练的时间，有利于深度学习模型探索技术在业务场景中的应用。

为了解决上述技术问题，本发明第一方面公开了一种深度学习模型的探索方法，所述方法包括：

确定一个云计算资源作为主节点以及多个其他云计算资源作为多个从节点，其中，所述主节点用于调度多个所述从节点对深度学习模型执行训练操作；

基于每个所述从节点对所述深度学习模型执行训练操作，得到该从节点的训练结果，每个所述从节点的训练结果包括目标深度学习模型以及该目标深度学习模型的评分，每个所述从节点的训练结果包括的目标深度学习模型为训练后的深度学习模型；

根据所有所述训练结果包括的评分从所有所述目标深度学习模型中确定最优深度学习模型。

作为一种可选的实施方式，在本发明第一方面中，所述基于每个所述从节点对所述深度学习模型执行训练操作，得到该从节点的训练结果，包括：

创建每个所述从节点对应的第一进程和第二进程，并基于每个所述从节点的第一进程生成该从节点对应的多个深度学习模型；

基于每个所述从节点的第二进程、每个所述从节点的本地云计算资源以及确定出的超参数对该从节点对应的每个所述深度学习模型执行训练与验证操作，得到该从节点对应的训练结果。

作为一种可选的实施方式，在本发明第一方面中，所述基于每个所述从节点的第一进程生成该从节点对应的多个深度学习模型，包括：

基于每个所述从节点的第一进程，从确定出的历史模型池中选取多个历史模型作为该从节点对应的多个基础模型，所述历史模型为所有所述从节点已生成的深度学习模型；

基于确定出的模拟退火方法从每个所述从节点对应的所有所述基础模型中选取多个所述基础模型作为该从节点对应的多个目标基础模型；