[发明专利]一种数据预读方法、装置、电子设备和介质

说明书

本申请实施例公开了一种数据预读方法、装置、电子设备和介质，从设定的预读参数可调范围中多次随机采样，得到测试样本。利用测试样本执行数据预读任务，以确定出性能测试模型。通过对测试样本进行真实测试，可以得到与当前设备的软硬件规格和IO负载相适配的性能测试模型。从预读参数可调范围中多次随机采样，得到多个第二预读参数组；利用性能测试模型，从多个第二预读参数组中筛选出符合收益条件的目标第二预测参数组；将目标第二预读参数组添加至测试样本，基于扩充后的测试样本对性能测试模型进行训练，可以进一步提升性能测试模型的准确性，依次循环直至确定出与当前设备较为适配的预读参数，该过程实现了预读参数的自动调节。

技术领域

本申请涉及分布式存储技术领域，特别是涉及一种数据预读方法、装置、电子设备和计算机可读存储介质。

背景技术

分布式文件系统的预读机制是指为应用程序一次读出比预期更多的文件内容并缓存起来，这样下一次读请求到来时直接从缓存读取即可。

预读可将小的读请求变换为大的预读IO(输入/输出Input/Output)，提升吞吐量。通过预读数据，可以将同步的读取变换为异步的预读IO，从而降低读延迟。Lib库的预读机制有多个预读参数，如缓存大小、预读尺寸等。目前的预读机制往往按照预先设定好的预读参数执行数据的预读。

但是在实际应用中，不同的软硬件规格或者不同的IO负载下，往往需要设置不同的预读参数，从而使得客户端的IO性能达到最优。按照目前预先设定好的预读参数执行数据的预读，无法很好的适用不同软硬件规格，不同IO负载的场景，从而使得客户端的IO性能无法达到较优。并且人工调参的难度较大、需要专家经验才能实现对预读参数的调整。

可见，如何实现预读参数的自动化调整，是本领域技术人员需要解决的问题。

发明内容

本申请实施例的目的是提供一种数据预读方法、装置、电子设备和计算机可读存储介质，可以实现预读参数的自动化调整。

为解决上述技术问题，本申请实施例提供一种数据预读方法，包括：

从设定的预读参数可调范围中多次随机采样，得到测试样本；其中，所述测试样本包括多个第一预读参数组；

利用所述测试样本执行数据预读任务，以确定出用于评估预读参数和预读收益之间关系的性能测试模型；

从所述预读参数可调范围中多次随机采样，得到多个第二预读参数组；

利用所述性能测试模型，从多个所述第二预读参数组中筛选出符合收益条件的目标第二预测参数组；

将所述目标第二预读参数组添加至所述测试样本，返回所述利用所述测试样本执行数据预读任务，以确定出用于评估预读参数和预读收益之间关系的性能测试模型的步骤，直至所述性能测试模型满足设定的收敛条件，则将最新得到的目标第二预测参数组作为执行数据预读任务的预读参数。

可选地，所述利用所述测试样本执行数据预读任务，以确定出用于评估预读参数和预读收益之间关系的性能测试模型包括：

获取依据所述测试样本执行数据预读任务的预读收益；

依据所述测试样本及其对应的预读收益，对高斯过程回归模型进行训练，以得到用于评估预读参数和预读收益之间关系的性能测试模型。

可选地，所述获取依据所述测试样本执行数据预读任务的预读收益包括：

依次按照所述测试样本中每个第一预读参数组，执行数据预读任务，以得到所述每个第一预读参数组对应的预读性能指标；其中，所述预读性能指标包括IO命中总次数、IO命中但数据未准备就绪总次数和IO未命中总次数；

基于所述预读性能指标，确定出所述每个第一预读参数组各自对应的预读收益。