[发明专利]一种基于值迭代网络的跨领域联邦学习模型及方法

说明书

本发明公开了一种基于值迭代网络的跨领域联邦学习模型及方法，该模型包括：数据准备单元，用于通过使用网格地图的路径规划领域作为训练环境，将同一地图中的两个不同部分观测状态作为联邦学习两个领域各自的输入；Federated‑VIN网络建立单元，用于建立基于值迭代网络的Federated‑VIN网络结构，构建源领域与目标领域的值迭代模块的全连接，并根据新构建的网络定义新的关于两领域的联合损失函数；迭代单元，用于于训练时对两领域的VI模块分别进行前向计算，通过VI模块实现若干次值迭代；后向更新单元，用于后向计算更新网络参数，根据该联合损失函数交替后向更新两领域的VIN参数及全连接参数。

技术领域

本发明涉及机器学习技术领域，特别是涉及一种基于值迭代网络的跨领域联邦学习模型及方法。

背景技术

强化学习(Reinforcement Learning,RL)是智能体(Agent)以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习不同于连接主义学习中的监督学习，主要表现在教师信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价，而不是告诉强化学习系统如何去产生正确的动作。由于外部环境提供的信息很少，智能体必须靠自身的经历进行学习。通过这种方式，在行动-评价的环境中获得知识，改进行动方案以适应环境。

深度强化学习(Deep Reinforcement Learning,DRL)是将深度学习的感知能力和强化学习的决策能力相结合，可以直接根据输入的图像进行控制，是一种更接近人类思维方式的人工智能方法。深度学习具有较强的感知能力，但是缺乏一定的决策能力；而强化学习具有决策能力，对感知问题束手无策。因此，将两者结合起来，优势互补，为复杂系统的感知决策问题提供了解决思路。DRL是一种端对端(end-to-end)的感知与控制系统，具有很强的通用性。其学习过程可以描述为：在每个时刻agent与环境交互得到一个高维度的观察，并利用DL方法来感知观察，以得到具体的状态特征表示；再基于预期回报来评价各动作的价值函数，并通过某种策略将当前状态映射为相应的动作；最后环境对此动作做出反应，并得到下一个观察；通过不断循环以上过程，最终可以得到实现目标的最优策略。

现有技术中，具有较好泛化能力的深度强化学习模型是值迭代网络(ValueIteration Networks,VINs)，值迭代网络VINs引入了一个具备规划能力的值迭代模块(VI)，在引入的该空间进行辅助策略的求解，VINs将奖励函数和转移函数也参数化，具体地采用了CNN结构表示，使得能够求导进行端到端地学习；引入了CNN模拟的值迭代算法迭代更新多次值函数，使得最优策略更具有泛化能力；并在策略的求解当中引入注意力机制(attention)；最后整个VINs网络可等价为一个嵌套的CNN网络，且能够使用后向更新算法更新参数，预测最优策略。

然而，由于VINs方法是针对一个特定领域预测最优策略的模型，如果两个相似领域具有不同的特征空间或不同的动作空间，那么VINs方法需要在各自领域分别单独训练。因此该方法对于新的领域需要高成本地重新训练模型，并且每个领域需要足够多的训练数据，当新领域的数据量不足时，模型的预测准确率低。

迁移学习(Transfer Learning)是一种机器学习的方法，指的是一个预训练的模型被重新用在另一个任务中。迁移学习与多任务学习以及概念飘移这些问题相关，它不是一个专门的机器学习领域。然而，迁移学习在某些深度学习问题中是非常受欢迎的，例如在具有大量训练深度模型所需的资源或者具有大量的用来预训练模型的数据集的情况。仅在第一个任务中的深度模型特征是泛化特征的时候，迁移学习才会起作用。深度学习中的这种迁移被称作归纳迁移。就是通过使用一个适用于不同但是相关的任务的模型，以一种有利的方式缩小可能模型的搜索范围。深度学习中在计算机视觉任务和自然语言处理任务中将预训练的模型作为新模型的起点是一种常用的方法，通常这些预训练的模型在开发神经网络的时候已经消耗了巨大的时间资源和计算资源，迁移学习可以将已习得的强大技能迁移到相关的的问题上。