[发明专利]一种Flink状态存储优化方法及装置

说明书

本发明公开一种Flink状态存储优化方法及装置，其中，该方法包括：性能采集器获取系统状态信息和数据库状态信息发送到调优控制器；调优控制器对系统状态信息和数据库状态信息进行分析，判断是否需要进行参数调优；若是则发送参数模型和调优规则给机器学习调优器；根据参数模型和调优规则，机器学习调优器利用知识库和机器学习，使用高斯过程回归模型结合贝叶斯优化算法，得出参数调整结果集并发送给调优控制器；调优控制器根据参数调整结果集，对RocksDB的配置参数进行动态调整。该方法及装置通过动态调整RocksDB参数，以使其在更好的运行状态下发挥更加极致的性能。

技术领域

本发明涉及大数据实时仓库领域，尤其是一种Flink状态存储优化方法及装置。

背景技术

Flink提供了内存存储、文件系统存储和RocksDB(基于LevelDB开发的一款提供键值存储与读写功能的LSM-tree架构引擎)存储等不同的状态存储方式。在使用Flink实时数据仓库写入数据场景中，经常需要将两条数据流进行JOIN(关联)，将两条数据流的数据关联在一起生成业务需要的数据并输出。由于不同的数据流到达的先后顺序不定，需要使用interval join(Flink Sql的一种关联方式，可以让两条流进行JOIN时，左流或者右流中每条记录只关联另外一条流上同一时间段内的数据，且进行JOIN后，仍然保留输入流上的时间列，便于继续进行基于Event Time的操作)将数据缓存一段时间，等待左流和右流到达完成join。当业务场景数据量非常大，可达到每秒几十万条的数据规模时，在此规模下，就需要缓存超大状态存储，这种情况下要求需要cache(缓存)的容量非常大，导致内存成本过高，以及在大量数据下查询效率低下。

发明内容

为解决Flink实时数据仓库中需要缓存超大状态存储导致内存成本过高以及在大量数据下查询效率低下的问题，本发明提供一种Flink状态存储优化方法及装置，采用RocksDB作为状态存储方式，通过内存+磁盘模式存储，动态调整参数配置，具有存储量大、成本低和稳定性高等优点。

为实现上述目的，本发明采用下述技术方案：

在本发明一实施例中，提出了一种Flink状态存储优化方法，该方法包括：

性能采集器获取系统状态信息和数据库状态信息发送到调优控制器；

调优控制器对系统状态信息和数据库状态信息进行分析，判断是否需要进行参数调优；若是则发送参数模型和调优规则给机器学习调优器；

根据参数模型和调优规则，机器学习调优器利用知识库和机器学习，使用高斯过程回归模型结合贝叶斯优化算法，得出参数调整结果集并发送给调优控制器；

调优控制器根据参数调整结果集，对RocksDB的配置参数进行动态调整。

进一步地，高斯过程回归模型结合贝叶斯优化算法，得到如下算法函数：

u(x)＝m(x)+k*s(x)

其中，x是样本参数值，m(x)是x的均值，s(x)是x的标准差，k是算法系数，k0是可调的算法系数；

通过上述算法函数，找出最大的u(x)即可。

进一步地，调优控制器监控参数调整后RocksDB的状态，并判断此次参数调整是否有效，若有效则发送更新知识库指令到机器学习调优器，进行知识库的更新。

进一步地，Flink给每个资源并发度分配了一个RocksDB实例，在Flink中的每个状态都是一个列族，不同的列族对应不同的SST文件/内存表。

在本发明一实施例中，还提出了一种Flink状态存储优化装置，该装置包括：

性能采集器，用于获取系统状态信息和数据库状态信息发送到调优控制器；