[发明专利]一种Flink状态存储优化方法及装置

权利要求书

1.一种Flink状态存储优化方法，其特征在于，该方法包括：

性能采集器获取系统状态信息和数据库状态信息发送到调优控制器；

调优控制器对系统状态信息和数据库状态信息进行分析，判断是否需要进行参数调优；若是则发送参数模型和调优规则给机器学习调优器；

根据参数模型和调优规则，机器学习调优器利用知识库和机器学习，使用高斯过程回归模型结合贝叶斯优化算法，得出参数调整结果集并发送给调优控制器；

调优控制器根据参数调整结果集，对RocksDB的配置参数进行动态调整。

2.根据权利要求1所述的Flink状态存储优化方法，其特征在于，所述高斯过程回归模型结合贝叶斯优化算法，得到如下算法函数：

u(x)＝m(x)+k*s(x)

其中，x是样本参数值，m(x)是x的均值，s(x)是x的标准差，k是算法系数，k0是可调的算法系数；

通过上述算法函数，找出最大的u(x)即可。

3.根据权利要求1所述的Flink状态存储优化方法，其特征在于，所述调优控制器监控参数调整后RocksDB的状态，并判断此次参数调整是否有效，若有效则发送更新知识库指令到机器学习调优器，进行知识库的更新。

4.根据权利要求1所述的Flink状态存储优化方法，其特征在于，所述Flink给每个资源并发度分配了一个RocksDB实例，在Flink中的每个状态都是一个列族，不同的列族对应不同的SST文件/内存表。

5.一种Flink状态存储优化装置，其特征在于，该装置包括：

性能采集器，用于获取系统状态信息和数据库状态信息发送到调优控制器；

调优控制器，用于对系统状态信息和数据库状态信息进行分析，判断是否需要进行参数调优；若是则发送参数模型和调优规则给机器学习调优器；根据机器学习调优器发送的参数调整结果集，对RocksDB的配置参数进行动态调整；

机器学习调优器，用于根据参数模型和调优规则，利用机器学习调优器利用知识库和机器学习，使用高斯过程回归模型结合贝叶斯优化算法，得出参数调整结果集并发送给调优控制器。

6.根据权利要求5所述的Flink状态存储优化装置，其特征在于，所述高斯过程回归模型结合贝叶斯优化算法，得到如下算法函数：

u(x)＝m(x)+k*s(x)

其中，x是样本参数值，m(x)是x的均值，s(x)是x的标准差，k是算法系数，k0是可调的算法系数；

通过上述算法函数，找出最大的u(x)即可。

7.根据权利要求5所述的Flink状态存储优化装置，其特征在于，所述调优控制器监控参数调整后RocksDB的状态，并判断此次参数调整是否有效，若有效则发送更新知识库指令到机器学习调优器，进行知识库的更新。

8.根据权利要求5所述的Flink状态存储优化装置，其特征在于，所述Flink给每个资源并发度分配了一个RocksDB实例，在Flink中的每个状态都是一个列族，不同的列族对应不同的SST文件/内存表。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4任一项所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1-4任一项所述方法的计算机程序。