[发明专利]用于利用表征神经网络连接的参数基因组作为构建块来构造具有前馈和反馈路径的神经网络的装置和方法

说明书

形成神经网络的方法包括指定神经网络神经元层。参数基因组是利用数值参数定义的，这些数值参数表征神经网络神经元层中的神经网络神经元之间的连接，其中从当前层中的神经元到一组相邻层中的神经元定义连接，并且参数基因组具有由数千字节的数值参数表征的唯一表示。参数基因组被组合成连接组，该连接组表征连接组中所有神经网络神经元之间的所有连接，其中连接组具有超过数百万个神经网络神经元和神经网络神经元之间的数十亿个连接。

相关申请的交叉引用

本申请要求于2018年6月19日提交的美国临时专利申请序列号62/687,179和于2019年2月22日提交的美国临时专利申请序列号62/809,297的优先权，每个所指定的专利申请的内容都通过引用并入本文。

技术领域

本发明一般而言涉及人工神经网络。更特别地，本发明涉及使用表征神经网络连接的参数基因组作为构建块来构造具有前馈和反馈路径的神经网络的处理和工具。

背景技术

现有的多层、紧密连接的深度神经网络(deep neural network)与真正的生物神经网络并不十分相似。它们只是具有大量参数(静态连接权重)的大型数学函数，经由反向传播和迭代调整的变体(如梯度下降)来适应大量数据。即使利用时间序列数据工作的递归神经网络(recurrent neural network)也仍然只能将数据拟合到函数。与生物大脑相比，现有的深度神经网络在它们能够解决的问题的深度和广度方面非常有限。

真正的大脑会从信号经过大脑的事实中在复杂的、时间依赖的电路中大量获得它们的计算、感觉处理和身体控制能力，这些复杂的、时间依赖的电路能够处理空间和时间数据，将信息存储在短期存储器中，对其进行操作，并且甚至具有反馈回路以形成如计时器或振荡器之类的电路、或者在可重复的级联模式中激活以发送特定的时间依赖的控制信号模式例如来控制肌肉群的神经学电路。这些网络还通过直接加强反复发射(fire)的神经元之间的连接来学习。它们还被组织，使得这在神经网络中产生有用的学习和训练。期望在人工神经元(及其网络)中捕获一些这种复杂性，而不必完全对真实生物神经元中的所有电化学过程进行建模，但仍能产生给予生物大脑比我们当今在深度学习神经网络中所拥有的更多效用的一些新颖的、时间依赖的信号处理能力。

尖峰神经网络(spiking neural network)是具有更类似于大脑的操作的人工神经网络，其具有沿着连接移动并集成在神经元和突触处的时空信号或尖峰，从而使其与传统的深度学习神经网络相比，能够进行更高级的计算。利用尖峰神经网络工作并训练尖峰神经网络以进行特定任务是具有挑战性的。因此，需要用于设计、训练和演进尖峰神经网络的工具、方法和处理，其子集也可以用于深度学习网络。

发明内容

形成神经网络的方法包括指定神经网络神经元层。参数基因组是利用表征神经网络神经元层中的神经网络神经元之间的连接的数值参数定义的，其中从当前层中的神经元到一组相邻层中的神经元定义连接，并且其中参数基因组具有由数千字节的数值参数表征的唯一表示。参数基因组被组合成连接组(connectome)，其表征连接组中所有神经网络神经元之间的所有连接，其中连接组具有超过数百万个神经网络神经元和神经网络神经元之间的数十亿个连接。

附图说明

结合以下详细描述连同附图更充分地理解本发明，其中：

图1图示了根据本发明的实施例配置的系统。

图2图示了根据本发明的实施例执行的处理操作。

图3是用于显示可以根据本发明的实施例配置的神经元层的图形用户界面。

图4图示了用于通过指定输入到数学算法以生成二维图(two-dimensional map)的参数来生成到其它层的神经元连接的概率图(probability map)的图形用户界面。