[发明专利]一种工作面液压支架拉架故障脱困决策方法

权利要求书

1.一种工作面液压支架拉架故障脱困决策方法，其特征在于：包括以下步骤：

S1、根据液压支架的顶梁状态俯仰角θ与支架支护状态高度H定义液压支架状态空间s，其定义公式为：

s＝(θ,H)；

S2、根据液压支架调整姿态的动作定义液压支架动作空间A，其定义公式为：

A＝{a₁,a₂,a₃}；

其中，a₁为升柱动作；a₂为降柱动作；a₃为停止升柱或降柱动作；

S3、设定奖赏函数R，其计算公式为：

R＝-[(H-H₀)²+(θ-θ₀)²]；

其中，H₀为支架目标支护高度；θ₀为顶梁目标俯仰角；

S4、利用Q-learning算法学习液压支架状态空间s与液压支架动作空间A之间的映射关系；

S5、根据步骤S4训练得到的液压支架状态空间s与液压支架动作空间A之间的映射关系输出液压支架姿态控制策略，其公式为：

2.如权利要求1所述的工作面液压支架拉架故障脱困决策方法，其特征在于：所述步骤S1中，对液压支架状态空间s进行离散化处理，根据顶梁状态俯仰角与支架支护状态高度离散等级进行组合，组成25种液压支架学习状态。

3.如权利要求2所述的工作面液压支架拉架故障脱困决策方法，其特征在于：所述步骤S4具体包括以下步骤：

S41、初始化Q(s,a)，给定参数α，γ，ε；

S42、初始化液压支架学习状态s₀，根据ε-greedy策略在液压支架学习状态s₀下选择液压支架执行动作a，液压支架学习状态转移为s、，同时获得奖赏r；

S43、对动作值函数进行增量式更新，其更新公式为：

S44、更新液压支架学习状态，直至s＝s、，结束本次训练；

S45、初始化另一种液压支架学习状态，开始下一轮训练；当动作值函数Q(s,a)全部收敛后，完成训练。