[发明专利]具有脑认知机理的发育自动机及其学习方法

说明书

技术领域

本发明涉及了具有脑认知机理的发育自动机及其学习方法，属于智能机器人技术领域。

技术背景

学习与记忆是人与动物智能行为的本质，人与动物的多种技能都是在其神经系统通过自学习和自组织的过程中逐渐形成和发展起来的，学习和模拟人与动物的神经活动和自我调节机制，并将其赋予给智能机器人，是人工智能与控制科学的重要研究课题。

1996年，J.Weng最早提出了机器人自主心智发育思想，他认为智能体应该在模拟人脑的基础上，在内在发育程序的控制下通过传感器和效应器与未知环境交互来发展心智能力。Brooks等强调机器人与教师、环境进行交互学习逐渐发展其智能，并通过结合神经科学的研究理论提出模拟人与动物的脑皮层中的前额叶、下丘脑、海马等区域的计算模型来处理复杂环境中复杂问题，这也就涉及到了感觉运动系统。最初的认知发育是从感觉运动系统协调机制的形成和发育开始的，同时感觉运动系统又是在内在动机形成和发育的过程中不断协调和完善的。神经学相关文献表明，在人与动物学习的过程中，大脑皮层、基底核以及小脑会以自身特有的方法平行工作，并且在人与动物运动有关的相互关系中，小脑和基底核分布在大脑皮质到脊髓之间运动信号传递的路线的两侧，它们会参与任一行为动作的发起及控制。

相关的专利如申请号CN200910086990.4的发明专利基于自动机理论，提出了操作自动机模型，并将该模型应用到机器人的自主学习控制中。申请号为CN201310656943.5的专利则将操作条件反射原理应用于图像处理领域，有效的提高了系统处理图像的精度和速度。申请号为201410101272.0的专利主要针对传统机器人学习效率低，适应能力差等问题提出了一种仿生智能控制方法，有效的提高了机器人智能水平。申请号为201410163756.8提出了一种基于云计算的自主心智发育云机器人系统，该系统能够有效地减轻机器人执行运算密集型任务的负担，还可以实现不同机器人间知识的共享。但是，以上专利并没有涉及模拟人类脑认知机理的学习系统。

发明内容

针对上述技术问题，本发明以生物感觉运动系统为理论依据，并引入心理学中的内在动机机制来驱动学习，提供一种具有脑认知机理的发育自动机及其学习方法，提高机器人的自主发育认知能力。

具有脑认知机理的发育自动机，包括内部状态集合，系统输出集合，内部操作行为集合，状态转移方程，奖赏信号，系统评价函数，系统动作选择概率，多巴胺响应差分信号；

(1)SC＝[s₁,s₂,...s_j]表示为有限的内部状态集合，相对应于大脑皮层中的感觉皮层，s_j表示第j个状态，j为内部状态的个数。

(2)MC＝[y₁,y₂,...y_i]表示为系统输出集合，相对应于大脑皮层中的运动皮层，y_i表示第i个输出，i表示输出的个数。

(3)Cb_A＝[a₁,a₂,...a_k]表示为内部操作行为集合，相对应于小脑区域，a_k为第k个内部动作，k为内部动作的个数。

(4)f:s(t)×a(t)→s(t+1)为状态转移方程，即t+1时刻的状态s(t+1)由t时刻的状态s(t)和操作行为a(t)共同决定，一般有环境或者模型来决定。

(5)r(t)＝r(s(t),a(t))表示为系统在t时刻在内部状态为s(t)是所采取的内部操作行为a(t)后使状态转移到s(t+1)后的奖赏信号，相对于丘脑所发出的丘觉。

(6)大脑皮层中的输入信号包含两部分，分别是感觉皮质信息和运动皮质信息，作为纹状体的输入，因此：

CC＝{SC,MC}(1)

纹状体主要是预测生物体动作取向性好坏的评价机制，进一步说也是内在动机机制取向性好坏的评价机制，定义系统评价函数如下：

BG_strio(t)＝r(t+1)+γr(t+2)+γ²r(t+3)+...(2)