[发明专利]深度学习模型的探索方法及装置

权利要求书

1.一种深度学习模型的探索方法，其特征在于，所述方法包括：

确定一个云计算资源作为主节点以及多个其他云计算资源作为多个从节点，其中，所述主节点用于调度多个所述从节点对深度学习模型执行训练操作；

基于每个所述从节点对所述深度学习模型执行训练操作，得到该从节点的训练结果，每个所述从节点的训练结果包括目标深度学习模型以及该目标深度学习模型的评分，每个所述从节点的训练结果包括的目标深度学习模型为训练后的深度学习模型；

根据所有所述训练结果包括的评分从所有所述目标深度学习模型中确定最优深度学习模型。

2.根据权利要求1所述的深度学习模型的探索方法，其特征在于，所述基于每个所述从节点对所述深度学习模型执行训练操作，得到该从节点的训练结果，包括：

创建每个所述从节点对应的第一进程和第二进程，并基于每个所述从节点的第一进程生成该从节点对应的多个深度学习模型；

基于每个所述从节点的第二进程、每个所述从节点的本地云计算资源以及确定出的超参数对该从节点对应的每个所述深度学习模型执行训练与验证操作，得到该从节点对应的训练结果。

3.根据权利要求2所述的深度学习模型的探索方法，其特征在于，所述基于每个所述从节点的第一进程生成该从节点对应的多个深度学习模型，包括：

基于每个所述从节点的第一进程，从确定出的历史模型池中选取多个历史模型作为该从节点对应的多个基础模型，所述历史模型为所有所述从节点已生成的深度学习模型；

基于确定出的模拟退火方法从每个所述从节点对应的所有所述基础模型中选取多个所述基础模型作为该从节点对应的多个目标基础模型；

对每个所述从节点对应的每个所述目标基础模型执行模型变形操作，得到该目标基础模型对应的多个变种模型，并从该目标基础模型对应的多个变种模型中筛选出该目标基础模型对应的目标变种模型；

对每个所述目标变种模型进行评分，并根据每个所述目标变种模型的评分从每个所述从节点对应的所有所述目标变种模型中筛选出该从节点对应的多个深度学习模型；

其中，模型变形操作是指对神经网络模型随机进行网络结构加深操作、网络结构加宽操作和加跳层结构操作中的至少一种。

4.根据权利要求3所述的深度学习模型的探索方法，其特征在于，所述从该目标基础模型对应的多个所述变种模型中筛选出该目标基础模型对应的目标变种模型，包括：

计算该目标基础模型对应的每个所述变种模型与所述历史模型池中每个所述历史模型的模型距离；

判断该目标基础模型对应的每个所述变种模型是否存在匹配历史模型，该变种模型对应的匹配历史模型是与该变种模型的模型距离小于预设阈值的所述历史模型，当判断出该变种模型存在匹配历史模型时，将该变种模型从该目标基础模型对应的多个所述变种模型中删除；

对该目标基础模型对应的每个所述变种模型进行评分，并从该目标基础模型对应的多个所述变种模型中选取评分最高的所述变种模型作为该目标基础模型对应的目标变种模型。

5.根据权利要求4所述的深度学习模型的探索方法，其特征在于，所述计算该目标基础模型对应的每个所述变种模型与所述历史模型池中每个所述历史模型的模型距离，包括：

计算该目标基础模型对应的每个所述变种模型与所述历史模型池中每个所述历史模型的普通层距离；

计算该目标基础模型对应的每个所述变种模型与所述历史模型池中每个所述历史模型的跳层距离；

将该目标基础模型对应的每个所述变种模型与所述历史模型池中每个所述历史模型的所述普通层距离和所述跳层距离相加以作为该变种模型和该历史模型的模型距离。