[发明专利]仿生动态神经网络及其学习方法和应用

说明书

本发明公开一种仿生动态神经网络，该神经网络能够通过学习形成行为状态关系网，并能够在接收到设定的目标任务时，根据当前状态和形成的所述行为状态关系网进行状态转移和行为活动调控，直接完成所述目标任务。本发明实施例提供的仿生动态神经网络通过模仿生物的神经回路拓扑结构以及动态特性，实现对状态转移的控制，使得状态转移与动作调控之间形成具有因果关系的行为状态关系网，更加符合人脑处理问题的方式，提升了对复杂任务的分解能力和强化学习的效率，使强化学习可以更加现实地使用在实际的机器人任务中。本发明实施例的仿生动态神经网络可以应用在强化学习模型中，用于构建能够分解任务的学习效率更高的强化学习算法模型。

技术领域

本发明涉及智能算法技术领域，特别是一种仿生动态神经网络及其学习方法和应用。

背景技术

由于深度强化学习可以使机器人通过试错法进行学习，因而为精准智能化控制提供了强有力的算法支撑。特别是随着AI技术的快速发展和广泛应用，目前对支撑AI技术成熟度的深度学习算法的研究日益成为新的热点。然而，现有深度强化学习算法存在以下缺陷：

1)现有深度强化学习算法利用的神经网络模型是黑盒，只能进行端到端的学习，这种方式会导致一步做错整个动作报废，因而在训练过程中需要机器人进行大量的尝试，尝试动作和学习的效率低下，收敛慢，使得尝试动作和学习所需的时间通常远超机器人可以运行的时间，效率非常低；

2)当前比较流行的一些深度强化学习模型，如QNN、DDPG、A3C、TRPO等等，均是以人工神经网络为基础，通过虚拟仿真环境进行大量训练。然而，由于虚拟仿真环境难以充分涵盖真实环境充可能出现的情况，此类模型在移植到真实环境后应用效果差强人意。

发明内容

为了解决上述问题，发明人通过大量的研究和实验尝试，找到了当前主流深度强化学习算法存在上述缺陷的根源，在于：其神经元和神经元之间连接的模型是静态函数映射而非动力学系统，导致其在处理连续输入的信号时效率低下；其学习过程完全依赖外部奖励，导致其只有在外界提供奖励信号时才可进行学习；其拓扑结构关注端对端的映射而忽略同层神经元之间的互相影响，因而很难形成动作和状态之间的因果关系，进而无法对复杂的任务进行分解优化。

基于此，发明人想到通过模拟生物的脑部来构建一种新型的仿生动态神经网络，以通过兼容神经元的动力学模型实现对连续信号的高效处理和分析。并且发明人还想到在这种新型的神经网络中设计内在的奖励和好奇心驱动的学习的机制，通过可解读的神经网络拓扑结构来编码机器人与环境的状态和计算好奇心，以通过状态和动作的因果关系实现根据给定动作预测后果以及根据给定后果选择动作，以在状态路径搜索和与状态对应的动作调控的处理方式下实现对复杂任务的分解和动作的排序，从而提高学习效率。

根据本发明的第一个方面，提供了一种仿生动态神经网络，其中，该仿生动态神经网络能够通过学习形成行为状态关系网，并能够在接收到设定的目标任务时，根据当前状态和形成的所述行为状态关系网进行状态转移和行为活动调控，直接完成设定的目标任务。

根据本发明的第二个方面，提供了另一种仿生动态神经网络，该仿生动态神经网络包括具有共享的多个状态神经元的至少一个网络单元，每个网络单元均包括一个行为神经元，

其中，各状态神经元和行为神经元之间能够通过学习形成行为状态关系网；

所述状态神经元通过所述行为状态关系网调控行为神经元的活动和实现状态转移。

根据本发明的第三个方面，提供了又一种仿生动态神经网络，其包括具有共享的多个状态神经元的至少一个网络单元，每个网络单元均包括一个行为神经元和一个奖励神经元，

其中，各状态神经元和行为神经元之间能够通过学习形成行为状态关系网；

所述奖励神经元根据内部产生的激励信号或从外部接收到的激励信号调控其所在网络单元内的学习的学习过程；