[发明专利]用于将连续系统转换成马尔可夫决策过程的方法

摘要

本发明涉及用于将连续系统转换成马尔可夫决策过程的方法。连续动态系统被转换成具有离散状态的马尔可夫决策过程(MDP)。选择连续系统的预定个数的连续状态，其中各连续状态对应于MDP的一个离散状态。将德罗内三角剖分应用到连续状态，以制作一组三角形，其中各三角形的顶点代表连续状态。对于各离散状态，确定下一个离散状态y＝f(x，a)，其中x代表与离散状态相对应的连续状态，a是控制动作，并且f是用于连续状态的非线性转移函数。识别包含下一个离散状态y的特定三角形，并且下一个离散状态y被表示为转移到与由特定三角形的顶点代表的连续状态x相对应的离散状态的概率。

主权项

一种用于将连续系统转换成马尔可夫决策过程MDP的方法，其中所述连续系统是动态的并且所述MDP具有离散状态，所述方法包括以下步骤：选择(110)所述连续系统的预定个数的连续状态，其中各连续状态对应于所述MDP的一个离散状态；以及将德罗内三角剖分应用(120)到所述连续状态，以生成一组三角形，其中各三角形的顶点代表所述连续状态，并且对于各离散状态还包括以下步骤：确定(210)下一个离散状态y＝f(x，a)，其中x代表与所述离散状态相对应的所述连续状态，a是控制动作，并且f是所述连续状态的非线性转移函数；识别(300)含有所述下一个离散状态y的特定三角形(410)；以及将所述下一个离散状态y表示(230、231、232)为转移到与由所述特定三角形(410)的所述顶点所代表的所述连续状态x相对应的所述离散状态的概率，其中在处理器中执行上述步骤。