[发明专利]在附加的任务上训练人工神经网络的同时避免灾难性干扰

说明书

一种方法，其用于在附加的未经训练的分割任务上训练人工神经网络，同时防止在原始训练的分割任务上先前获取的分割技能的损失。

技术领域

本发明位于人工神经网络的领域中，所述人工神经网络是受构成动物大脑的生物神经网络启发的计算系统。更具体地，其涉及一种方法，所述方法防止被训练为在医学图像上执行分割任务的人工神经网络在后续使用相同的网络训练新的和不同的分割任务——但是它以在不同的模态或具有稍微不同的特性的数据（例如，来自不同医院的数据）上分割不同的对象类或相同的对象类为目标——时，遗忘其完成原始训练的任务的能力。

背景技术

灾难性干扰（也称为灾难性遗忘）通常指代经训练的神经网络在继先前的任务之后而在新任务上进行训练时无法记住先前学习的信息。针对连接主义网络的该问题最初是在Cohen等人的著作（M. McCloskey 和N. J. Cohen，“Catastrophic interference inconnectionist networks: The sequential learning problem”，学习和动机心理学，第24卷，第109-165页，1989年）和Ratcliff等人（R. Ratcliff，“Connectionist models ofrecognition memory: Constraints imposed by learning and forgettingfunctions”，心理学评论，第97卷，第2期，第285-308页，1990年）的著作中揭示的。

在人工神经网络的上下文中，近年来已经有许多致力于该问题的著作。Jung等人（H. Jung、J. Ju、M. Jung和 J. Kim，“Less-forgetting learning in deep neuralnetworks”，arXiv预印本arXiv：1607.00122，2016年）和Li等人（Z. Li 和D. Hoiem，“Learning without forgetting”，欧洲计算机视觉会议，Springer，2016年，第614-629页）提出了当应用于许多分类任务时减轻灾难性干扰问题的方法。Kirkpatrick等人（J.Kirkpatrick、 R. Pascanu、 N. Rabinowitz、J. Veness、G. Desjardins、 A. A. Rusu、K.Milan、J. Quan、T. Ramalho、A. Grabska-Barwinska等人，“Overcoming catastrophicforgetting in neural networks”，国家科学院学报，p.201611835，2017年）训练了人工神经网络，其能够依次学习分类任务和玩雅达利游戏两者。在医学成像中，当现有神经网络的参数被转移学习到新任务或者具有在不同的医院中利用其他成像设备或协议获取的图像的数据集时，域灾难性干扰可能发生。

在关于分类网络的开发和研究中，从头开始训练神经网络是相当特殊的，更常见的是使用预先训练的网络（例如，在根据WordNet层次结构（http：//www.image-net.org/）组织的ImageNet图像数据库上训练的预先训练的网络）来进一步应用特征提取或以微调进行实验。然而，在分割网络中、并且更特别地在医学成像领域中，归因于这样的大量自由可用数据集的不可用性，使用这样的预先训练的神经网络不是很常见。分割是对医学图像中的结构进行标识和轮廓描画的过程。针对特定对象类（或解剖结构）的分割任务的结果是所谓的基础事实掩模（ground truth mask），其覆盖图像中表示所寻找的解剖结构的肯定标识的表面。针对特定医学图像的分割对象类的所得基础事实掩模被表示为具有0或1的像素值的二进制图像，1表示分割结构在图像中的位置。因此，二进制图像充当掩模，所述掩模可以叠加在原始图像上以标识原始图像中存在检测到的结构的区域。

预先训练的神经网络不常用于分割目的的另一个原因是，即使没有大的图像集合，全卷积网络通常也可以从头开始训练。因此，联合学习是分割网络中更常见的方法，尽管也可以有效地使用微调和特征提取。这是真的，前提是新数据集与在其上原始预先训练网络的数据集并非完全不同。