[发明专利]一种储算分离船舶虚拟试验云平台数据预取与传输方法

说明书

本发明提出一种储算分离船舶虚拟试验云平台数据预取与传输方法。所述方法包括如下步骤：S1、通过深度学习模型对任务运行趋势进行预测；S2、利用缓存管理对热点数据缓存；S3、利用多优先级队列进行数据传输。所述方法通过建立任务运行趋势预测模型，将原本在任务运行时进行的数据请求变为了提前数据预取，减少了任务等待网络I/O的时间，从而提高CPU的利用率。

技术领域

本发明属于计算机科学技术领域，特别是涉及一种储算分离船舶虚拟试验云平台数据预取与传输方法。

背景技术

目前，大多数的船舶虚拟试验云平台系统采用计算与存储耦合的方式，即计算设备直接存取数据。但由于船舶虚拟试验具有输入数据量大、计算时间长、输出数据量大等特点，导致云平台系统资源受限，而计算设备扩容的经济成本和维护成本都极其高昂。为了解决这一问题，一些云计算系统尝试将存储与计算独立于不同的设备之上，计算端使用计算能力强的并行集群，在存储端使用成本低廉、扩展性强的分布式集群。数据存放在分布式存储系统的存储节点上达到持久化存储目的，而计算系统只负责进行计算任务，两者之间通过网络进行数据传输，在计算时临时将相关的实验数据通过网络上传到计算系统，产生的结果数据再下载到分布式存储系统进行存储。

这种融合并行计算系统和分布式存储系统的储算分离云平台虽然解决了维护与扩容的成本问题，但是由于计算系统与存储系统分离，两者通过网络进行数据传输通信，计算任务在运行时向存储系统发出数据访问请求，数据再通过网络传输到计算系统，由于网络传输的延迟，导致计算任务运行时间延长，且由于计算系统产生的计算结果也需要通过网络传输到存储系统，使得数据从单向的上传变为双向的传输，计算结果与请求数据的传输容易产生冲突。传统的数据请求和数据传输方法已经不适用于储算分离船舶虚拟试验云平台的场景。

发明内容

本发明目的是为了解决现有技术中的问题，提供了一种储算分离船舶虚拟试验云平台数据预取与传输方法。所述方法对基于储算分离架构的船舶虚拟试验云平台能够合理的实现数据预取与传输，降低对网络I/O的依赖。

本发明是通过以下技术方案实现的，本发明提出一种储算分离船舶虚拟试验云平台数据预取与传输方法，所述方法包括如下步骤：

S1、通过深度学习模型对任务运行趋势进行预测；

S2、利用缓存管理对热点数据缓存；

S3、利用多优先级队列进行数据传输。

进一步地，所述步骤S1的通过深度学习模型对任务运行趋势进行预测的具体步骤如下：

通过深度学习模型对任务运行趋势预测包括数据处理、模型训练、模型评估、任务预测和模型完善；

数据处理：通过对历史数据记录整理，并经过数据预处理形成有效的数据集，将数据集划分为训练集和测试集；

模型训练：运用长短期记忆神经网络LSTM，将训练集输入到LSTM模型中进行训练，建立任务运行趋势预测模型；

模型评估：将测试集输入到建立的任务运行趋势预测模型，经过多次拟合从而提高模型的精度；

任务预测：使用任务运行趋势预测模型对计算系统中的任务进行运行趋势预测，其中任务类型和任务请求数据作为输入，任务数据请求序列和运行时间为输出，记录预测结果，其中任务数据请求序列为T₁(F₁₁，F₁₂，F₁₃，…，F_1N)；

模型完善：在任务运行结束后，比较预测结果与任务的真实运行过程，更新数据集，继续训练，不断完善模型。

进一步地，所述步骤S2的利用缓存管理对热点数据缓存的具体步骤如下：