[发明专利]用于自动产生人工神经网络的方法和设备

说明书

一种用于自动产生人工神经网络（60）的方法，所述人工神经网络包括模块和连接，所述连接将所述模块链接，其中逐个模块和/或连接被添加至当前的初始网络（60），其中从可预先给定的多个可能的可添加的模块和连接中随机地选出要添加的模块和/或连接，并且其中分别通过将要添加的模块和/或连接添加至初始网络来产生当前的初始网络（60）的多个可能的扩展（61），而且其中接着选出来自多个可能的扩展（61）的扩展（61）之一，以便在下一次遍历所述方法中用作当前的初始网络（60）。

技术领域

本发明涉及一种用于自动产生人工神经网络的方法、一种计算机程序、一种机器可读的存储介质和一种系统；所述计算机程序包括指令，所述指令配置为当在计算机上实施所述计算机程序时实施该方法；在所述机器可读的存储介质上存储有计算机程序；所述系统尤其是包括一个或者多个计算机，所述系统配置为实施该方法。

背景技术

从“Reinforcement Learning for Architecture Search by NetworkTransformation”（arXiv preprint arXiv：1707.04873vl，2017年，Han Cai，TianyaoChen，Weinan Zhang，Yong Yu，Jun Wang）中已知了一种用于借助强化学习（英语：reinforcement learning）来自动产生人工神经网络的架构的方法，其中该网络在保留其功能的情况下被深化或者被拓宽。

发明内容

本发明的优点

与此相对照，具有独立权利要求1的特征的方法有如下优点：该方法能够实现非常高效地自动化地建立性能强的被扩大的人工神经网络。

有利的改进方案是独立权利要求的主题。

本发明的公开

在第一方面，本发明涉及一种用于自动产生人工神经网络的方法，该人工神经网络包括模块和连接，所述连接将这些模块链接，其中逐个模块和/或连接被添加至当前的初始网络（Ausgangsnetz），

其中从可预先给定的多个可能的可添加的模块和连接中随机地选出要添加的模块和/或连接，并且其中分别通过将要添加的模块和/或连接添加至初始网络来产生当前的初始网络的多个可能的扩展，（也就是说，扩展中的每个扩展分别包括当前的初始网络和所添加的模块和/或连接），

并且其中接着选出来自多个可能的扩展的所述扩展中的一个，以便在下一次遍历（Durchlauf）该方法中用作当前的初始网络。

模块是神经网络的单元，这些单元根据（必要时向量值（vektorwertigen））输入变量来测定（必要时向量值）输出变量。模块例如可以是人工神经网络的层，或者是人工神经元。

也就是说，“逐个的”意思是：该方法包括多个轮次，其中在每个轮次中，从当前的初始网络出发来产生可能的扩展，并且从中接着选出（优选地最好的）扩展，以便在下一个轮次中用作当前的初始网络。

也就是说，重复地形成多个可能的扩展，并且从这些可能的扩展中仅仅选出（优选地最好的）扩展，所述（优选地最好的）扩展接着又用作其他扩展的基础。以这种方式逐步地扩大人工神经网络。已认识到，这种贪婪的行为方式令人感到意外地在短时间内导致性能非常强的人工神经网络，而不是比方说带入妨碍性的次极小（hemmende Nebenminima）。

在改进方案中可以设置，在添加相应的模块和/或连接时，表征相应的要添加的模块和/或连接的可预先给定的参数被选择成使得：针对每个可能的输入变量，添加了相应的要添加的模块和/或连接的初始网络分别在添加相应的要添加的模块和/或连接之前和之后提供不改变的输出变量。