[发明专利]用于基于类脑无监督学习的多模态分类的方法及系统

说明书

本发明提供了一种用于利用类脑无监督学习的多模态数据分类的计算机实现的方法、以及一种用于实现该方法的神经形态计算硬件结构。在优选实施例中，所述方法包括以下步骤：基于多模态训练数据集、利用无监督学习训练多个人工神经网络(ANN)中的每一个；基于所述多模态训练数据集、利用无监督学习训练ANN之间的多模态关联，以生成共激活的最佳匹配单元(BMU)之间的多个双向横向连接；利用发散算法标记至少两个ANN中的每一个的神经元；以及利用收敛算法选择全局BMU。

技术领域

本发明涉及人工智能领域，更具体地涉及一种用于基于类脑无监督学习的多模态分类的方法及系统。

背景技术

人工智能(AI)系统可以根据其通过学习而适应环境的能力进行定义。与环境的紧密关系对于未来的AI系统是关键的挑战，未来的AI系统与真实世界环境交互以用于比如目标检测与识别、跟踪、以及导航等的各种应用。具身智能的发展存在多个基本原理，根据L.Smith和M.Gasser(“The development of embodied cognition:Six lessons frombabies(具身认知的发展：来自婴儿的六个课程)”，Artificial Life(人工生命)，第11卷，第1-2期，第13–29页，2005)至少是六个。这些原理中的第一个原理被称为多模态性。

实际上，生物系统通过视觉、听觉、触觉、嗅觉、以及本体感觉等各种感知渠道来感知其环境。基本原因在于神经结构中的简并性的概念，该概念通常被定义为结构上不同的生物要素用于执行相同的功能或产生相同的输出的能力。因为与环境中的同一现象有关的信息可以从相机、麦克风、以及加速计等各种类型的传感器获得，所以可以将同样的原理应用于人工系统。可以认为每个感知信息是一个模态。由于自然现象的丰富特性，由单个模态提供感兴趣的现象的完整表示很少存在。多模态数据融合则是特定的自然过程和现象在完全不同的物理表象下被呈现的这个被广泛接受的范式的直接结果。多模态关联利用比如视觉和声音的不同模态之间的自然互补性，以使其彼此完整并且改进多模态类别的可分离性和分类。

人工神经网络(ANN)的最近的研究显示，在诸如所开发的机器人、音视频信号处理、空间感知、注意力驱动选择和跟踪、存储器编码、情绪识别、人机交互、遥感及地球观测、医疗诊断、以及对大脑功能进行了解等的多个应用领域中对多模态关联的兴趣不断增长。

即使一些工作提出了用于多模态关联学习的计算模型，这些工作中的大多数也是基于(1)暗示使用已标记的数据集的监督学习、以及(2)遇到所谓的冯诺依曼瓶颈的集中式处理实现方式。

为了得到克服这些限制的有新颖性和创造性的方法，发明人受到了生物大脑的启发。实际上，大脑将多个模态的空时相关性用于构造数据以及基于观测产生感知。因此，尽管存在比如视觉、声音和触觉的感知模态的多样性，大脑仍得到相同的概念。此外，生物观测显示，当两者相关时，一个模态可以激活另一个模态的内部表示。为了对这样的行为进行建模，Edelman和Damasio已经分别提出了两个理论框架：“再进入(Reentry)”(G.Edelman，“Group selection and phasic reentrant signaling theory of higher brainfunction(分组选择及阶段性的再进入信令-更高大脑功能的理论)”，The Mindful Brain(正念大脑)，麻省理工学院出版社，1982)以及“Convergence Divergence Zone(收敛发散区)”(A.Damasio，“Time-locked multiregional retroactivation:systems levelproposal for the neural substrates of recall and recognition(时间锁定的多区域逆向激活：对召回和识别的神经基质的系统级建议)”，第33卷，第1–2期，第25-62页，1989)。在这些框架中，双向神经通信可以导致多模态融合(也称为“收敛”)和模态间激活(也称为“发散”)两者。然而，这些框架仍然是理论并且不提供在神经元级别的计算模型。