[发明专利]智能体任务学习方法及装置

说明书

本发明提供一种智能体任务学习方法及装置，该方法包括：基于自然策略梯度算法，以智能体在各历史任务下的状态信息作为样本，以智能体在各历史任务下的动作信息为样本标签，对动作预测模型的第一策略参数进行迭代更新，获取各历史任务对应的动作预测模型的最优第一策略参数；将所有历史任务对应的关键影响因子和所有历史任务对应的最优第一策略参数作为训练样本集，对任务学习模型进行迭代训练；将新任务对应的关键影响因子输入训练后的任务学习模型中，得到任务学习模型输出的新任务对应的动作预测模型的最优第二策略参数。本发明实现智能体同时具备领域任务的通用知识提炼能力和对新任务的零样本策略生成能力。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种智能体任务学习方法及装置。

背景技术

通用人工智能算法研究的核心是在智能体内部增加智能算法，使智能体具备类人智能。智能体具备类人智能后，将能够实现人类从事的生产工作，进而解放社会生产力，因此通用人工智能算法研究具有很大的应用潜力和价值。

终身学习框架中的策略知识提炼算法是一种典型的通用人工智能算法，其中包括学习和理解信息的认知功能的算法框架，其包含学习模块和知识模块两部分。学习模块的功能是使智能体具备学习任务的能力，知识模块的功能是使智能体具备提炼通用知识的能力，从而快速学习并掌握新任务。

现有的策略知识提炼算法，采用基于策略梯度法的在线多任务学习中PGELLA(Policy Gradient Efficient Life-Long Learning Algorithm，策略梯度高效终身学习算法)，通过提炼不同任务策略之间的共享知识，形成共享基；然后，从共享基中迁移知识，对小样本进行学习，实现对新任务的快速学习，以实现对相同领域中不同任务具备快速适应性。但是，通常新任务的样本匮乏，很难快速训练和优化出符合新任务的有效学习模型，导致智能体提炼通用知识的性能差。因此，如何在零样本的情况下，使智能体具备提炼通用知识的良好性能，是本领域亟待解决的问题。

发明内容

本发明提供一种智能体任务学习方法及装置，用以解决现有技术中新任务的样本匮乏，很难快速训练和优化出符合新任务的有效学习模型，导致智能体提炼通用知识的性能差的缺陷，实现在零样本的情况下，使智能体具备提炼通用知识的良好性能。

本发明提供一种智能体任务学习方法，包括：

基于自然策略梯度算法，以智能体在各历史任务下的状态信息作为样本，以所述智能体在所述各历史任务下的动作信息为样本标签，对动作预测模型的第一策略参数进行迭代更新，获取各历史任务对应的所述动作预测模型的最优第一策略参数；

将所有历史任务对应的关键影响因子和所有历史任务对应的最优第一策略参数作为训练样本集，对任务学习模型进行迭代训练；其中，所述关键影响因子为对所述动作预测模型的输出结果有影响的因子；

将新任务对应的关键影响因子输入训练后的任务学习模型中，得到所述任务学习模型输出的所述新任务对应的动作预测模型的最优第二策略参数。

根据本发明提供的一种智能体任务学习方法，所述将所有历史任务对应的关键影响因子和所有历史任务对应的最优第一策略参数作为训练样本集，对任务学习模型进行迭代训练，包括：

将所述最优第一策略参数对应的奖励值大于设定阈值的历史任务，作为目标历史任务；

将所有目标历史任务对应的关键影响因子和所有目标历史任务对应的最优第一策略参数作为所述训练样本集，对所述任务学习模型进行迭代训练。

根据本发明提供的一种智能体任务学习方法，所述任务学习模型包括多个子任务学习模型；

每一子任务学习模型用于学习所述关键影响因子与每一最优第一策略参数之间的映射关系；

所述任务学习模型的损失函数为多个子任务学习模型的损失函数的联合结果。