[发明专利]一种储算分离船舶虚拟试验云平台数据预取与传输方法

权利要求书

1.一种储算分离船舶虚拟试验云平台数据预取与传输方法，其特征在于：所述方法包括如下步骤：

S1、通过深度学习模型对任务运行趋势进行预测；

S2、利用缓存管理对热点数据缓存；

S3、利用多优先级队列进行数据传输。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1的通过深度学习模型对任务运行趋势进行预测的具体步骤如下：

通过深度学习模型对任务运行趋势预测包括数据处理、模型训练、模型评估、任务预测和模型完善；

数据处理：通过对历史数据记录整理，并经过数据预处理形成有效的数据集，将数据集划分为训练集和测试集；

模型训练：运用长短期记忆神经网络LSTM，将训练集输入到LSTM模型中进行训练，建立任务运行趋势预测模型；

模型评估：将测试集输入到建立的任务运行趋势预测模型，经过多次拟合从而提高模型的精度；

任务预测：使用任务运行趋势预测模型对计算系统中的任务进行运行趋势预测，其中任务类型和任务请求数据作为输入，任务数据请求序列和运行时间为输出，记录预测结果，其中任务数据请求序列为T₁(F₁₁，F₁₂，F₁₃，…，F_1N)；

模型完善：在任务运行结束后，比较预测结果与任务的真实运行过程，更新数据集，继续训练，不断完善模型。

3.根据权利要求2所述的方法，其特征在于，所述步骤S2的利用缓存管理对热点数据缓存的具体步骤如下：

在计算系统的存储空间开辟专门的缓存存储空间，创建一个双向循环链表，对运行任务访问的数据进行统计，当访问次数超过K次，将此数据加入到双向循环链表中缓存；当缓存存储空间已满，则将双向循环链表尾部的数据淘汰；当依照任务运行趋势预测模型产生的任务数据请求序列进行数据预取前，遍历双向循环链表，当某数据已然在缓存存储空间中，修改该任务数据请求序列，将已在缓存存储空间中的数据从任务数据请求序列中删除。

4.根据权利要求3所述的方法，其特征在于，在步骤S3中，在数据传输开始之前，根据预取数据的任务在计算系统中的状态，划分了三类优先级队列，优先级逐步降低，第一级优先队列中的数据传输优先级最高，第三级优先队列的数据传输的优先级最低；每次进行数据传输，选取优先级最高的传输相应数据；所述优先级队列包含下属三类优先级：

第一级优先队列：主要存放计算系统正在运行任务的预取数据；

第二级优先队列：主要存放计算系统排队任务的预取数据；

第三级优先队列：主要存放计算系统产生的计算结果。

5.根据权利要求4所述的方法，其特征在于，三种优先级队列采取不同的传输方式进行数据传输；对于一个任务，其数据的请求先后顺序也不同，通过任务运行趋势预测模型预测出任务数据请求序列：T₁(F₁₁，F₁₂，F₁₃，…，F_1N)、T₂(F₂₁，F₂₂，F₂₃，…，F_2N)...；每个任务中的数据传输顺序依据预测结果进行优先级划分，访问趋势越早，该数据优先传输。

6.根据权利要求5所述的方法，其特征在于，为每个任务所分配的带宽相同，其带宽分配公式如下：

其中Width为网络总带宽；N为计算系统中运行的并行计算任务数；w_i为每个任务的数据传输分配的带宽；随着数据传输的进行，由于不同任务所请求的数据大小、数量不同以及缓存机制可能对某任务的一个或多个数据进行缓存而无需传输；某些任务的预取数据全部传输完毕，所分配给网络中余下任务数据传输的带宽也随之动态变化，其带宽分配公式如下：

其中，S表示当前仍在网络中进行数据传输的任务数。