[发明专利]一种网络训练的数据集缓存方法、装置、设备及存储介质

说明书

本申请公开了一种网络训练的数据集缓存方法、装置、设备及存储介质。该方法的步骤包括：统计网络训练集群中未缓存待训练数据集的训练节点在缓存待训练数据集的过程中所需的磁盘性能开销；监控未缓存待训练数据集的训练节点的当前性能参数；基于当前性能参数在网络训练集群中选取满足磁盘性能开销的目的节点；利用目的节点缓存由源节点传入的待训练数据集，以基于目的节点对待训练数据集执行网络训练。本方法确保了训练节点缓存待训练数据集的可靠性，进而确保了网络训练的整体可靠性。此外，本申请还提供一种网络训练的数据集缓存装置、设备及存储介质，有益效果同上所述。

技术领域

本申请涉及深度学习领域，特别是涉及一种网络训练的数据集缓存方法、装置、设备及存储介质。

背景技术

深度学习在当前得到了广泛的运用，深度学习指的是通过大量数据对神经网络进行特征训练，产生具有识别相应数据能力的网络模型。

由于神经网络训练的过程中所使用的样本数据集的多少，直接影响深度学习的效果，因此当前往往以包含有多个训练节点以及数据集存储节点的集群方式，采用多个训练节点共同利用数据集存储节点中的数据集对神经网络进行训练。在训练过程中，不同训练节点中缓存的数据集可能存在差异，并且当前往往存在需要使用多个训练节点基于相同数据集进行神经网络训练的情况，而神经网络训练的整体可靠性也是当前本领域所关注的重点。

由此可见，提供一种网络训练的数据集缓存方法，以确保训练节点缓存待训练数据集的可靠性，进而确保网络训练的整体可靠性，是本领域技术人员需要解决的问题。

发明内容

本申请的目的是提供一种网络训练的数据集缓存方法、装置、设备及存储介质，以确保训练节点缓存待训练数据集的可靠性，进而确保网络训练的整体可靠性。

为解决上述技术问题，本申请提供一种网络训练的数据集缓存方法，包括：

统计网络训练集群中未缓存待训练数据集的训练节点在缓存待训练数据集的过程中所需的磁盘性能开销；

监控未缓存待训练数据集的训练节点的当前性能参数；

基于当前性能参数在网络训练集群中选取满足磁盘性能开销的目的节点；

利用目的节点缓存由源节点传入的待训练数据集，以基于目的节点对待训练数据集执行网络训练。

优选地，在利用目的节点缓存由源节点传入的待训练数据集之前，方法还包括：

判断网络训练集群中是否存在缓存有待训练数据集的源训练节点；

若网络训练集群中存在缓存有待训练数据集的源训练节点，则在源训练节点中选取与目的节点之间的空闲网络带宽最大的目标源训练节点；

相应的，利用目的节点缓存由源节点传入的待训练数据集，包括：

利用目的节点缓存由目标源训练节点传入的待训练数据集。

优选地，当网络训练集群中不存在缓存有待训练数据集的源训练节点时，利用目的节点缓存由源节点传入的待训练数据集，包括：

利用目的节点缓存由网络训练集群中的数据集存储节点传入的待训练数据集。

优选地，统计网络训练集群中未缓存待训练数据集的训练节点在缓存待训练数据集的过程中所需的磁盘性能开销，包括：

基于未缓存待训练数据集的训练节点的硬件性能参数以及待训练数据集的数据属性参数统计得到磁盘性能开销。

优选地，硬件性能参数包括磁盘转速、磁盘平均巡道时间以及磁盘最大传输速率；

待训练数据集的数据属性参数包括平均文件大小；平均文件大小基于待训练数据集的数据总量以及文件总量运算得到。