[发明专利]一种基于强化学习的铁路机车运行操控系统混合任务调度方法

说明书

本发明提供了一种基于强化学习的铁路机车运行操控系统混合任务调度方法，该方法是一种离线学习过程。方法首先采集机车运行操控系统实际运行或仿真实验中的混合任务集数据，形成混合任务集合并对混合任务集合中的每个任务进行规则化标记。然后将规则化标记后的任务集合作为强化学习系统的输入，构成强化学习环境。强化学习系统应用强化学习算法，考察机车运行操控系统的调度目标进行迭代学习过程，生成对应混合任务集合的<状态‑规则>对应关系表，并将该<状态‑规则>关系表保存在数据库中。从数据库中挑选出现频率最高的规则作为当前状态的最优规则，形成最终的<状态‑规则>对应关系表。机车操控系统运行中可根据<状态‑规则>对应关系表，指导生成混合任务的实时调度序列，实现任务调度。

技术领域

本发明涉及铁路机车运行操控系统混合任务调度，尤其涉及一种基于强化学习的铁路机车运行操控系统混合任务调度方法。

背景技术

实时系统指当外界事件或数据产生时，能够接受并以足够快的速度予以处理，其处理的结果又能在规定的时间之内来控制生产过程或对处理系统做出快速响应，调度一切可利用的资源完成实时任务，并控制所有实时任务协调一致运行的系统。该类系统广泛应用于社会生活的各个领域，常见的有车间实时调度系统，列车运行节能优化控制系统，飞行模拟器等。铁路机车运行操控系统是典型的实时系统，且该系统在运行中会产生大量周期性和非周期性任务，任务之间相互耦合，具有不同的调度目标，系统的调度问题十分复杂。但是系统运行在实时控车的环境中，所以系统任务必须要实时、准确地得到完成。对于任务的合理调度，降低系统延迟对保障系统正常稳定运行有着至关重要的作用。

现有系统混合任务集的调度方法主要有基于静态表驱动策略的调度算法、基于优先级驱动策略的调度算法、基于比例共享的调度算法、动态基于规划的调度算法、基于自适应控制的调度算法等。

比如，申请号为201210524335.4的“一种强实时混合任务调度方法”发明专利就公开了一种基于静态表驱动策略的调度算法。该类方法具有以下两个缺点：第一，不够灵活，一旦调度表确定了，在调度过程中就无法更改调度顺序；第二，它要求在系统运行前，就获取所有任务的到达时间，截止期，运行时间等信息，所以该策略很难运用到非周期性实时任务调度当中。

上述基于优先级驱动策略的调度算法分为静态优先级驱动策略和动态优先级驱动策略，分别具有灵活性差和执行开销大的缺点。上述基于比例共享的调度算法存在的缺点是无法保证某些实时任务及时完成，不能应用到硬实时系统当中。上述动态基于规划的调度算法适合于在系统执行过程中随机到达的非周期性实时任务。上述基于自适应控制的调度算法是一类利用系统反馈调整任务执行顺序的调度算法，该算法的计算开销较大，不适用于硬实时系统。

由于机车运行环境的动态多变性，单一规则在处理实时调度问题上具有一定的局限。但是上述所有算法，目前在复杂的动态变化环境下，均不能实时选择合适的调度规则，而且适应性较强的算法通常也具有较大的时间和计算开销。所以，针对铁路机车运行操控系统混合任务集的调度算法具有较大的提升和优化空间，实现一个自适应的混合任务调度规则具有较强的现实意义。

发明内容

本发明的目的是提供一种基于强化学习的铁路机车运行操控系统混合任务调度方法，应用强化学习系统进行调度规则的离线学习和生成，能够显著降低任务调度的计算开销；同时能够较灵活地根据系统的动态负载变化，实时匹配调度规则表，选择恰当的调度规则进行任务调度。

本发明通过如下技术方案实现：

一种基于强化学习的铁路机车运行操控系统混合任务调度方法，其特征在于，所述的混合任务包括：周期性实时任务、非周期性实时任务以及非实时任务；所述的混合任务调度方法包括：

步骤(1)、采集铁路机车运行操控系统实际运行或仿真实验中的混合任务集数据，形成混合任务集合；

步骤(2)、将混合任务集合中的每个任务进行规则化标记；