[发明专利]一种基于符号选项和动作模型自学习的任务规划方法

说明书

本发明公开了一种基于符号选项和动作模型自学习的任务规划方法，该方法包括：基于符号状态映射模块，根据先验知识和数字图像处理将高维图像数据映射为符号状态；基于选项集合模块，根据随机动作和符号状态构建选项集合；基于动作模型学习模块，根据符号状态的变化学习动作模型和更新选项集合，得到新动作模型和规划目标基于规划器模块，根据新动作模型和规划目标求解规划路径，并根据规划结果探索是否存在新的动作模型。通过使用本发明，能够自动学习动作模型和符号选项以及它们之间的对应关系，进行规划和训练探索，以获得解决问题的动作策略。本发明作为一种基于符号选项和动作模型自学习的任务规划方法，可广泛应用于符号规划领域。

技术领域

本发明涉及符号规划领域，尤其涉及一种基于符号选项和动作模型自学习的任务规划方法。

背景技术

符号规划，又称智能规划，是人工智能的一个重要领域。其主要思想是：根据人类的先验知识，将环境状态和动作抽象为一种符号的表示，利用符号表示的初始状态、目标状态以及动作模型，经过符号规划器，求解出一条从初始状态到目标状态可行的动作序列，这个动作序列也成为规划(plan)。符号规划语言有多种，例如PDDL或者动作语言(actionlanguage)，每种语言也有其对应的规划器，比如FASTDOWNWARD、CLINGO。符号规划具有很强的可解释性，并且不需要大量的时间与环境进行交互。但是由于需要人类的先验知识对环境以及动作进行抽象，因此很难适应复杂多变的高维环境。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于符号选项和动作模型自学习的任务规划方法，根据智能体在环境中的探索轨迹(trajectory)，自动学习动作模型和符号选项以及它们之间的对应关系，利用学习到的动作模型进行规划，从而选择符号选项进行训练探索，获得解决问题的动作策略。

本发明所采用的第一技术方案是：一种基于符号选项和动作模型自学习的任务规划方法，包括以下步骤：

S1、基于符号状态映射模块，根据先验知识和数字图像处理将高维图像数据映射为符号状态；

S2、基于选项集合模块，根据随机动作和符号状态构建选项集合；

S3、基于动作模型学习模块，根据符号状态的变化学习动作模型和更新选项集合，得到新动作模型和规划目标；

S4、基于规划器模块，根据新动作模型和规划目标求解规划路径，并根据规划结果探索是否存在新的动作模型。

进一步，所述基于符号状态映射模块，根据先验知识和数字图像处理将高维图像数据映射为符号状态这一步骤，其具体包括：

根据先验知识和数字图像处理确定智能体，并定位智能体位置，得到智能体位置的符号命题；

根据智能体位置的符号命题，将一个高位状态映射为两个命题组成的符号状态。

进一步，所述选项集合由多个符号状态选项和一个随机选项组成。

进一步，所述符号状态选项和随机选项均由三元组表示，所述符号状态选项包括前提条件、内部策略和效果，所述随机选项包括初始条件、策略和终止条件。

进一步，所述基于选项集合模块，根据随机动作和符号状态构建选项集合这一步骤，其具体包括：

选项根据环境状态做出决策选择执行的动作；

智能体执行动作后，环境会返回新的高维状态和奖励至选项；

选项根据返回的奖励和状态调整策略，继续下一次交互直至达到选项的终止条件；

循环执行和返回步骤，得到选项集合。

进一步，所述基于动作模型学习模块，根据符号状态的变化学习动作模型和更新选项集合，得到新动作模型和规划目标这一步骤，其具体包括：