[发明专利]基于历史调控经验的时间窗口迁移强化学习注采优化方法

说明书

本发明公开了一种基于历史调控经验的时间窗口迁移强化学习注采优化方法，属于油藏注采技术领域，包括如下步骤：步骤1、确定当前油藏目标任务时间窗口的优化井数和优化时间步；步骤2、获取现有源模型，冻结源模型中的特征提取层权重进行目标智能体的初始化操作；步骤3、通过梯度反向传播的方式训练得到最优目标智能体，完成目标模型的构建；步骤4、基于目标模型，读取当前油藏的状态信息，得到完整的生产制度，实现实时注采优化。本发明结合强化学习算法，借鉴源模型通过策略迁移，实现新时间窗口的快速优化，减少所需的数值模拟迭代次数。

技术领域

本发明属于油藏注采技术领域，具体涉及一种基于历史调控经验的时间窗口迁移强化学习注采优化方法。

背景技术

在实际油藏优化过程中，常常通过按时间序列窗口进行分阶段优化以获取最优方案。每个历史窗口都积累了丰富的历史数据，其中包含有益的油藏领域知识和优化经验。然而，在面对新阶段的优化任务时，大多数方法抛弃了这些历史数据，从零开始进行优化，需要依靠大量数值模拟重复进行对油藏知识的学习，通过试错过程寻找正确的优化方向，导致了时间和资源的巨大浪费，严重限制了优化性能。

因此，现有注采优化方法存在以下问题：对已有信息的利用率较低，优化一次需要进行多次迭代；优化变量发生变化时，需从头进行优化过程，重新采样构建模型耗时长。

发明内容

为了解决上述问题，本发明提出了一种基于历史调控经验的时间窗口迁移强化学习注采优化方法，将油藏的不同生产开发阶段视为一系列时间窗口。通过对历史调控经验的重新利用，指导智能体学习油藏领域知识和优化经验，将其应用于当前的优化任务中，以辅助指导当前时间窗口注采方案的制定。通过这种方式，实现求解速度的提升。

本发明的技术方案如下：

一种基于历史调控经验的时间窗口迁移强化学习注采优化方法，将油藏的不同生产阶段视为一系列的时间窗口，通过对历史调控经验的重新利用，指导智能体学习油藏领域知识和优化经验，将其应用于当前的优化任务中，以辅助指导当前时间窗口注采方案的制定；具体包括如下步骤：

步骤1、确定当前油藏目标任务时间窗口的优化井数和优化时间步；

步骤2、获取现有源模型，冻结源模型中的特征提取层权重进行目标智能体的初始化操作；

步骤3、通过梯度反向传播的方式训练得到最优目标智能体，完成目标模型的构建；

步骤4、基于目标模型，读取当前油藏的状态信息，得到完整的生产制度，实现实时注采优化。

进一步地，步骤1中，目标任务基于目标模型实现，源任务基于源模型实现，源模型的核心结构为最优源智能体，目标模型的核心结构为最优目标智能体；目标任务区别于源任务，假设源任务中油藏整个生产周期为，井的总数为，则源模型的动作空间为，在经过个周期的训练结束后得到最优源智能体，源模型的输出为口井的生产制度；目标任务中，优化时间步为，在后续个时间步内，根据生产要求进行加密井设计，新打井口，此时目标模型的动作空间为，即对应优化井数为，目标模型的输出为口井的生产制度。

进一步地，步骤3的具体过程如下：

步骤3.1、借助目标任务时间窗口的油藏数值模拟模型，搭建强化学习环境模块；

步骤3.2、在个时间步内，目标模型与强化学习环境模块依次进行每个时间步的交互，模拟实际油藏注采制度调控过程；

步骤3.3、将交互过程中采集到的相关样本数据加入经验缓冲区；

步骤3.4、从经验缓冲区中采样条样本数据，更新目标智能体的输出层；

步骤3.5、重复步骤3.2至步骤3.4，直到达到最大数值模拟次数，此时训练得到最优目标智能体，输出最优目标智能体对应的目标模型及最优控制方案。