[发明专利]一种多复合任务执行的控制方法、装置、设备及存储介质

说明书

本公开提供了一种多复合任务执行的控制方法、装置、设备及存储介质，所述方法包括：在获取到待决策任务的当前环境信息后，将当前环境信息输入至决策模型中，经过决策模型的处理后，输出待决策任务对应的多个子策略以及各个子策略分别对应的权重系数。其中，待决策任务属于包括多个子任务的多复合任务，各个子任务具有对应的子策略。然后，基于多个子策略分别对应的权重系数，对子策略进行加权求和，得到待决策任务的决策信息，用于控制待决策任务的执行。可见，本公开能够利用决策模型解决多复合任务环境下的决策问题，通过对决策模型输出的子策略进行动态的加权求和，能够得到适应各种复杂多复合任务环境的决策信息，提高了决策模型的泛化能力。

技术领域

本公开涉及数据处理领域，尤其涉及一种多复合任务执行的控制方法、装置、设备及存储介质。

背景技术

强化学习是一种通过经验进行策略自主学习的数学框架，针对强化学习模型的训练过程，通常是通过智能体与环境进行持续的交互实现的。也就是说，通过智能体与环境进行持续的交互实现对强化学习模型的训练过程。

实际应用中，强化学习模型可以用于解决多复合任务环境下的决策问题，即当环境中存在多个相互影响的子任务需要同时被决策时，可以利用强化学习模型进行决策。

目前，面对多复合任务环境下的决策问题时，通常是针对每个独立的子任务预先手动设置子策略，在多复合任务环境下的决策阶段，从预先设置的子策略中分别选择一个用于构成决策信息。可见，手动设置子策略解决多复合任务环境下的决策问题的方式，依赖具体任务内容，如果任务内容存在变化，则需要重新设置子策略，泛化能力较弱。

因此，如何解决多复合任务环境下的任务执行问题，能够保证方法的泛化能力，是目前亟需解决的技术问题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种多复合任务执行的控制方法、装置、设备及存储介质，能够通过对决策模型输出的子策略进行动态的加权求和，能够得到适应各种复杂多复合任务环境的决策信息，提高了决策模型的泛化能力。

第一方面，本公开提供了一种多复合任务执行的控制方法，所述方法包括：

将待决策任务的当前环境信息输入至决策模型中，经过所述决策模型的处理后，输出所述待决策任务对应的多个子策略以及所述多个子策略分别对应的权重系数；其中，所述待决策任务属于包含多个子任务的多复合任务，所述子任务与所述子策略具有对应关系；

基于所述多个子策略分别对应的权重系数，对所述多个子策略进行加权求和，得到所述待决策任务的决策信息；其中，所述决策信息用于控制所述待决策任务的执行。

一种可选的实施方式中，所述方法还包括：

在将所述决策信息作用于所述待决策任务的所述当前环境信息对应的环境后，获取来自所述环境的反馈奖励；其中，所述反馈奖励包括多个子奖励，所述子奖励与所述子策略具有对应关系；

基于所述多个子策略分别对应的权重系数，对所述多个子奖励进行加权求和，得到所述决策信息对应的总奖励；

基于所述总奖励，对所述决策模型中的参数进行优化。

一种可选的实施方式中，所述方法应用于CPU，所述方法还包括：

建立所述待决策任务的所述当前环境信息、所述决策信息和所述决策信息对应的总奖励之间的对应关系；

相应的，所述基于所述总奖励，对所述决策模型中的参数进行优化，包括：

将所述对应关系发送至模型优化微型处理器GPU；其中，所述模型优化GPU上部署有待优化决策模型，所述模型优化GPU用于基于所述对应关系对所述待优化决策模型中的参数进行优化，得到优化后参数，所述待优化决策模型与所述决策模型具有对应关系；