[发明专利]用于基于类脑无监督学习的多模态分类的方法及系统

权利要求书

1.一种用于利用类脑无监督学习的多模态数据分类的计算机实现的方法，所述方法包括以下步骤：

基于多模态训练数据集、利用无监督学习训练(202)至少两个人工神经网络(ANN)中的每一个ANN，每一个ANN是被指定用于输入的一个模态的自组织映射；

基于所述多模态训练数据集、利用无监督学习训练(204)至少两个ANN之间的多模态关联，多模态训练生成共激活的最佳匹配单元(BMU)之间的多个双向横向连接，共激活的BMU是从经训练的所述至少两个ANN中的每一个ANN的训练所获得的；

标记(206)所述至少两个ANN中的每一个ANN的神经元，其中，所述标记包括：

基于所述多模态训练数据集的已标记的子集、利用传入活性对所述至少两个ANN中的一个ANN进行标记(206-1)；以及

利用横向活性对所述至少两个ANN中的其余的ANN进行标记(206-2)，所述横向活性是由与之前标记的ANN的双向横向连接所导致的；以及

基于每个神经元的传入活性和横向活性两者，计算(208)所述至少两个ANN的之前标记的神经元之中的全局BMU，其中，所述全局BMU的计算步骤(208)包括：

基于输入的数据针对所述至少两个ANN的每个神经元计算(606-1，606-2)传入活性；

对已计算的传入活性进行归一化(608)；

利用来自所述至少两个ANN中的其余的ANN的神经元的横向活性来更新(610-1，610-2)所述至少两个ANN的每个神经元的传入活性；以及

选择(612)所述至少两个ANN中的全局BMU，其中，所选择的全局BMU的标记是多模态输入的预测类别。

2.根据权利要求1所述的计算机实现的方法，其中，所述多模态训练的步骤(204)包括以下步骤：

a)创建(410)经训练的所述至少两个ANN中的每一个ANN的共激活的BMU之间的多个双向横向连接；或者

b)更新(412)所述至少两个ANN中的每一个ANN的共激活的BMU之间的已有的双向横向连接；以及

删除(420)低于用于每个神经元的预定阈值的那些已有的横向连接。

3.根据权利要求1或2所述的计算机实现的方法，其中，进行标记的步骤(206-2)包括以下步骤：

初始化(504)所述其余的ANN的每个神经元的神经元累加器模块；

基于所述已标记的子集计算(508)所述一个ANN的每个神经元的传入活性；

计算(510)与所述一个ANN进行双向横向连接的其余的ANN的神经元的横向活性；

向对应的神经元累加器模块增加(512)每个已计算的横向活性；

针对每个类别的样本的数量而对神经元累加器模块进行归一化(516)；以及

为其余的ANN的神经元指定(518)标记。

4.根据权利要求1至3中任一项所述的计算机实现的方法，其中，所述至少两个ANN中的每一个ANN的训练的步骤(202)利用Kohonen算法来运行。

5.根据权利要求1至4中任一项所述的计算机实现的方法，其中，所述多模态训练数据集的子集是来自所述多模态训练数据集的1％的随机标记的样本。

6.一种用于利用类脑无监督学习的多模态数据分类的计算机实现的方法，所述方法包括以下步骤：计算(208)至少两个ANN的多个已标记的神经元之中的全局BMU，所述多个已标记的神经元是在学习模式期间进行标记的，所述学习模式包括根据权利要求1至5中任一项所述的方法的所有训练步骤和标记步骤。

7.根据权利要求1至6中任一项所述的计算机实现的方法，其在包括多个ANN的神经形态硬件结构上操作，以对具有不同模态的输入进行分类，其中，每个模态由一个或多个ANN处理。

8.一种用于基于类脑无监督学习的多模态分类的神经形态计算系统，所述神经形态计算系统包括用于操作根据权利要求1至7中任一项所述的方法的装置。