[发明专利]抽油机控制方法、计算机设备及存储介质

权利要求书

1.一种抽油机控制方法，其特征在于，所述方法用于计算机设备，所述方法包括：

获取第t控制周期内抽油机的第t示功图，并通过所述抽油机控制系统确定所述抽油机在所述第t控制周期内的第t奖励；

将所述第t示功图输入所述抽油机控制系统，得到所述抽油机控制系统输出的第t工作频率曲线；

在第t+1控制周期内，按照所述第t工作频率曲线控制所述抽油机进行抽油，并获取所述抽油机的第t+1示功图；

将所述第t示功图、所述第t奖励、所述第t工作频率曲线以及所述第t+1示功图存储至所述抽油机控制系统的记忆库；

基于所述记忆库中存储的数据对所述抽油机控制系统进行强化学习。

2.根据权利要求1所述的方法，其特征在于，所述抽油机控制系统包括奖励模块；

所述通过所述抽油机控制系统确定所述抽油机在所述第t控制周期内的第t奖励，包括：

将所述第t示功图输入所述奖励模块的产液量预测网络，得到所述产液量预测网络输出的预测产液量，所述产液量预测网络是根据样本示功图以及所述样本示功图对应的样本产液量训练得到的卷积神经网络；

基于所述第t控制周期内所述抽油机的有功功率曲线，通过所述确定奖励模块的耗电量计算模型计算所述第t控制周期内所述抽油机的耗电量；

根据所述预测产液量和所述耗电量确定所述第t奖励，所述第t奖励与所述预测产液量正相关，所述第t奖励与所述耗电量负相关。

3.根据权利要求2所述的方法，其特征在于，所述根据所述预测产液量和所述耗电量确定所述第t奖励，包括：

根据所述预测产液量和所述耗电量确定单位产液量，所述单位产液量为消耗单位电量时所述抽油机的产液量；

根据所述预测产液量、所述预测产液量对应的第一奖励权重、所述单位产液量以及所述单位产液量对应的第二奖励权重，确定所述第t奖励。

4.根据权利要求1至3任一所述的方法，其特征在于，所述抽油机控制系统包括策略模块；

所述将所述第t周期示功图输入所述抽油机控制系统，得到所述抽油机控制系统输出的第t周期工作频率曲线，包括：

将所述第t周期示功图输入所述策略模块中的第一策略网络，得到所述第一策略网络输出所述第t工作频率曲线，所述第t工作频率曲线中包含预设数量的工作频率点，所述第一策略网络为卷积神经网络。

5.根据权利要求4所述的方法，其特征在于，所述抽油机控制系统还包括评价模块；

所述将所述第t示功图、所述第t奖励、所述第t工作频率曲线以及所述第t+1示功图存储至所述抽油机控制系统的记忆库，包括：

将所述第t示功图、所述第t奖励、所述第t工作频率曲线以及所述第t+1示功图作为一组历史数据，存储至所述抽油机控制系统的记忆库；

所述基于所述记忆库中存储的数据对所述抽油机控制系统进行强化学习，包括：

从所述记忆库中提取n组历史数据，n为正整数；

基于所述n组历史数据，对所述评价模块和所述策略模块进行强化学习。

6.根据权利要求5所述的方法，其特征在于，所述策略模块还包括第二策略网络，所述第二策略网络与所述第一策略网络的网络结构相同，且所述评价模块也包括网络结构相同的第一评价网络和第二评价网络；

所述基于所述n组历史数据，对所述评价模块和所述策略模块进行强化学习，包括：

基于所述n组历史数据，对所述第一评价网络进行网络参数更新；

利用更新后的所述第一评价网络，对所述第一策略网络进行网络参数更新；

根据更新后的所述第一策略网络和所述第一评价网络软更新所述第二策略网络以及所述第二评价网络。