[发明专利]智能体任务学习方法及装置

权利要求书

1.一种智能体任务学习方法，其特征在于，包括：

基于自然策略梯度算法，以智能体在各历史任务下的状态信息作为样本，以所述智能体在所述各历史任务下的动作信息为样本标签，对动作预测模型的第一策略参数进行迭代更新，获取各历史任务对应的所述动作预测模型的最优第一策略参数；

将所有历史任务对应的关键影响因子和所有历史任务对应的最优第一策略参数作为训练样本集，对任务学习模型进行迭代训练；其中，所述关键影响因子为对所述动作预测模型的输出结果有影响的因子；

将新任务对应的关键影响因子输入训练后的任务学习模型中，得到所述任务学习模型输出的所述新任务对应的动作预测模型的最优第二策略参数。

2.根据权利要求1所述的智能体任务学习方法，其特征在于，所述将所有历史任务对应的关键影响因子和所有历史任务对应的最优第一策略参数作为训练样本集，对任务学习模型进行迭代训练，包括：

将所述最优第一策略参数对应的奖励值大于设定阈值的历史任务，作为目标历史任务；

将所有目标历史任务对应的关键影响因子和所有目标历史任务对应的最优第一策略参数作为所述训练样本集，对所述任务学习模型进行迭代训练。

3.根据权利要求1所述的智能体任务学习方法，其特征在于，所述任务学习模型包括多个子任务学习模型；

每一子任务学习模型用于学习所述关键影响因子与每一最优第一策略参数之间的映射关系；

所述任务学习模型的损失函数为多个子任务学习模型的损失函数的联合结果。

4.根据权利要求1-3任一所述的智能体任务学习方法，其特征在于，所述将所有历史任务对应的关键影响因子和所有历史任务对应的最优第一策略参数作为训练样本集，对任务学习模型进行迭代训练，包括：

对各历史任务对应的最优第一策略参数进行向量化处理；

将所有历史任务对应的关键影响因子和所有历史任务对应的向量化处理后的最优第一策略参数作为所述训练样本集，对所述任务学习模型进行迭代训练。

5.根据权利要求1-3任一所述的智能体任务学习方法，其特征在于，所述对动作预测模型的第一策略参数进行迭代更新，包括：

根据所述第一策略参数对应的衰减系数和费雪信息，以及所述第一策略参数和所述动作预测模型的目标函数的梯度，对所述第一策略参数进行迭代更新；

其中，所述第一策略参数对应的衰减系数，根据所述第一策略参数对应的费雪信息、所述动作预测模型的目标函数的梯度和预设约束因子确定。

6.根据权利要求1-3任一所述的智能体任务学习方法，其特征在于，所述动作预测模型包括线性矩阵或多层神经网络。

7.根据权利要求1-3任一所述的智能体任务学习方法，其特征在于，在所述将新任务对应的关键影响因子输入训练后的任务学习模型中，得到所述任务学习模型输出的所述新任务对应的动作预测模型的最优第二策略参数之后，还包括：

根据所述最优第二策略参数对所述动作预测模型进行优化，得到优化后的动作预测模型；

将所述智能体在所述新任务下的状态信息输入所述优化后的动作预测模型中，得到所述优化后的动作预测模型输出的所述智能体在所述新任务下的动作信息。

8.一种智能体任务学习装置，其特征在于，包括：

学习模块，用于基于自然策略梯度算法，以智能体在各历史任务下的状态信息作为样本，以所述智能体在所述各历史任务下的动作信息为样本标签，对动作预测模型的第一策略参数进行迭代更新，获取各历史任务对应的所述动作预测模型的最优第一策略参数；

第一知识模块，用于将所有历史任务对应的关键影响因子和所有历史任务对应的最优第一策略参数作为训练样本集，对任务学习模型进行迭代训练；其中，所述关键影响因子为对所述动作预测模型的输出结果有影响的因子；

第二知识模块，用于将新任务对应的关键影响因子输入训练后的任务学习模型中，得到所述任务学习模型输出的所述新任务对应的动作预测模型的最优第二策略参数。