[发明专利]一种流处理应用延迟性能预测系统、方法及存储介质

权利要求书

1.一种流处理应用延迟性能预测方法，其特征在于，包括如下内容：

S1、抽取流处理应用的特征，特征包括应用类特征、数据类特征和系统类特征；

S2、对每个特征构建时间序列特征向量，以及当前时间点下的时间序列特征向量对应的下一时间点的延迟数值；

S3、构建Attention-LSTM模型，基于历史的时间序列特征向量和延迟数值分别构建训练数据集和验证数据集；基于训练数据集对Attention-LSTM模型进行训练，通过验证数据集验证训练后的Attention-LSTM模型，如果满足预设要求，训练完成；

S4、将时间序列特征向量输入至训练完成的Attention-LSTM模型，从Attention-LSTM模型得到流处理应用的具体延迟数值。

2.根据权利要求1所述的流处理应用延迟性能预测方法，其特征在于：所述步骤S3中，Attention-LSTM模型包括输入层、长短期记忆循环神经网络层、注意力层、丢弃层、全连接层和输出层。

3.根据权利要求2所述的流处理应用延迟性能预测方法，其特征在于：所述步骤S3中，训练过程具体包括：

S301、将训练样本集中的时间序列特征向量输入构建的Attention-LSTM模型的输入层；输入层将时间序列特征向量输出至长短期记忆循环神经网络层；

S302、长短期记忆循环神经网络层通过循环神经网络的前项传播算法抽取时间依赖特征，将时间依赖特征传递至注意力层；

S303、注意力层通过权重大小赋予不同时间依赖特征不同的重要程度，将赋予权重的时间依赖特征输出至丢弃层；

S304、丢弃层接收到注意力层的输出的时间依赖特征后，以固定比例的方式随机冻结部分神经元，使其无法输出或输出为零，将从未冻结神经元得到的深层时空特征输出至全连接层；

S305、全连接层将深层特征展平为特征向量，学习深层特征与延迟之间的关系；

S306、通过参数学习算法，输出层将最终的延迟数值输出。

4.根据权利要求1所述的流处理应用延迟性能预测方法，其特征在于：所述步骤S1中，应用类特征包括算子类型、算子并行度、算子时间窗口大小、输入流数量、输出流数量；

数据类特征包括数据到达速率、数据发送速率；

系统类特征包括CPU使用率、内存可用量、内存使用率、网络带宽利用率。

5.根据权利要求3所述的流处理应用延迟性能预测方法，其特征在于：所述步骤S304中，每次训练时随机冻结神经元。

6.一种流处理应用延迟性能预测系统，其特征在于，包括数据采集模块，模型创建模块，模型训练模块和预测模块；

数据采集模块用于从流处理应用中抽取特征，特征包括应用类特征、数据类特征和系统类特征；还用于对每个特征构建时间序列特征向量，以及当前时间点下的时间序列特征向量对应的下一时间点的延迟数值；还用于根据历史的时间序列特征向量和延迟数值分别构建训练数据集和验证数据集；

模型创建模块用于构建Attention-LSTM模型，基于训练数据集对Attention-LSTM模型进行训练，通过验证数据集验证训练后的Attention-LSTM模型，如果满足预设要求，保存训练完成的Attention-LSTM模型；

预测模块从数据采集模块获取时间序列特征向量，将时间序列特征向量输入至训练完成的Attention-LSTM模型，从Attention-LSTM模型得到流处理应用的具体延迟数值。

7.根据权利要求6所述的流处理应用延迟性能预测系统，其特征在于：所述应用类特征包括算子类型、算子并行度、算子时间窗口大小、输入流数量、输出流数量；

数据类特征包括数据到达速率、数据发送速率；

系统类特征包括CPU使用率、内存可用量、内存使用率、网络带宽利用率。

8.根据权利要求7所述的流处理应用延迟性能预测系统，其特征在于：所述Attention-LSTM模型包括输入层、长短期记忆循环神经网络层、注意力层、丢弃层、全连接层和输出层。