[发明专利]鲁棒的循环人工神经网络

说明书

鲁棒的循环人工神经网络以及用于提高循环人工神经网络的鲁棒性的技术。例如，一种系统可以包括：多个节点和链接，所述多个节点和链接被布置在循环神经网络中，其中沿着所述链接的信息传输或所述节点处的决策是非确定性的；以及输出，所述输出被配置为输出循环人工神经网络中的活动的拓扑模式的发生的指示。

技术领域

本发明涉及循环人工神经网络，并且更具体地涉及鲁棒的循环人工神经网络以及用于提高循环人工神经网络的鲁棒性的技术。

背景技术

人工神经网络是受生物神经元网络的结构和功能方面启发的设备。具体地，人工神经网络使用被称为节点(node)的互连构造的系统来模拟生物神经元网络的信息编码和其他处理能力。人工神经网络中的节点之间的连接的布置和强度确定由人工神经网络进行信息处理或信息存储的结果。

一般而言，鲁棒性是容忍一定量的损失或误差但仍执行有意义的操作的能力。例如，即使例如在传输期间位(bit)有损失，鲁棒的信号传输仍传送信息。作为另一个示例，即使某些节点或通信链接(link)成为不可操作的，鲁棒的通信网络仍可以传输信息。

在损失之后执行的操作不必是“完美的”或与在没有损失的情况下执行的操作相同。确切地说，系统或设备可能经历“优雅降级(graceful degradation)”，由此它甚至在其部件中的一些有故障的情况下仍将继续操作——尽管以降低的能力。这与遭受不成比例地大的误差和/或经历灾难性故障并且在故障的情况下完全停止操作的设备和系统形成对比。

发明内容

描述了鲁棒的循环人工神经网络以及用于提高循环人工神经网络的鲁棒性的方法。

在一般意义上，可以通过增加神经网络中的信息存储、传输和处理的“纠缠(entanglement)”来增加循环人工神经网络的鲁棒性。纠缠在此上下文中指的是跨循环人工神经网络的不同元件功能分布。循环人工神经网络的每个部分包含其他部分的一些功能。在这个意义上，“纠缠”确实仅提供相同功能的多个离散的副本或版本。尽管这样的冗余确实提高了鲁棒性(例如，在如RAID编码的技术中)，但是纠缠在目前的上下文中指的是充当集成的整体并且使用可互相操作的多个元件来执行操作的循环人工神经网络结构。由于所述元件一起操作，因此任何一个元件仅是更大的整体的一小部分。任何一个元件中的故障都不会使循环人工神经网络成为完全不可操作的。确切地说，由循环人工神经网络执行的操作可以仅降级并且偏离理想。

在第一方面，一种系统包括：多个节点和链接，所述多个节点和链接被布置在循环神经网络中，其中沿着所述链接的信息传输或所述节点处的决策是非确定性的；以及输出，所述输出被配置为输出循环人工神经网络中的活动的拓扑模式(topological pattern)的发生的指示。

在第二方面，一种系统包括：多个节点和链接，所述多个节点和链接被布置在循环神经网络中，其中每个节点被耦合以：将信号输出到10至10^6个其他节点，并且从10至10^6个其他节点接收信号；以及输出，所述输出被配置为输出循环人工神经网络中的活动的拓扑模式的发生的指示。

在第三方面，一种系统包括：多个节点和链接，所述多个节点和链接被布置在循环神经网络中，其中至少一些节点对由多个连接连结(link)；以及输出，所述输出被配置为输出循环人工神经网络中的活动的拓扑模式的发生的指示。

在第四方面，一种系统包括：多个节点和链接，所述多个节点和链接被布置在循环神经网络中，其中所述循环神经网络包括不取决于输入数据的背景活动；以及输出，所述输出被配置为输出循环人工神经网络中的活动的拓扑模式的发生的指示。