[发明专利]使用神经网络翻译模型改进图像分割

说明书

本发明公开了使用神经网络翻译模型改进图像分割。神经网络包括编码器、公共解码器和残差解码器。编码器将输入图像编码到潜在空间中。潜在空间使独特特征与其他公共特征分离。公共解码器对驻留在潜在空间中的公共特征进行解码，以生成缺少独特特征的翻译图像。残差解码器对驻留在潜在空间中的独特特征进行解码，以生成与独特特征相对应的图像增量。神经网络将翻译图像与图像增量相组合，以生成可包括公共特征和独特特征两者的组合图像。组合图像可用于驱动自动编码。一旦训练完成，可以修改残差解码器以生成分割掩码，这些分割掩码指示独特特征所驻留在的给定输入图像的任何区域。

背景技术

在传统的图像分割方法中，神经网络被训练以基于包括一组标记图像的训练数据来识别图像的特定特征。例如，神经网络可以被训练以基于训练数据识别图像内的汽车实例，所述训练数据包含汽车图像和指示汽车所驻留在的那些图像的区域的标签。此方法的一个缺点是训练数据需要由人类手动生成。特别地，人类必须对训练数据中的每个图像进行视觉评估，然后生成指示感兴趣特征在那些图像中的位置的一个或更多个标签。这个过程可能非常耗时。此外，某些类型的训练数据(例如与医学成像相关联的训练数据)只能由可能不容易找到的专家生成。

附图说明

为了可以详细理解各个实施例的上述特征的方式，可以通过参考各个实施例来对以上简要概述的发明构思进行更具体的描述，在附图中示出了其中一些实施例。然而，应注意，附图仅示出了本发明构思的典型实施例，因此不应以任何方式被认为是对范围的限制，并且还有其他等效的实施例。

图1示出了被配置为实现各个实施例的一个或更多个方面的系统。

图2是根据各个实施例的图1的神经网络的更详细的图示。

图3示出了根据各个实施例的可以如何训练图1的神经网络。

图4示出了根据各个实施例的图1的神经网络如何生成分割掩码。

图5示出了根据各个实施例的图1的神经网络如何增强翻译图像的空间细节。

图6是根据各个实施例的用于翻译图像以生成分割掩码的方法步骤的流程图。

图7是示出被配置为实现各个实施例的一个或更多个方面的计算机系统的框图。

图8是根据各个实施例的包括在图7的并行处理子系统中的并行处理单元(PPU)的框图。

图9是根据各个实施例的包括在图8的并行处理单元(PPU)中的通用处理集群(GPC)的框图。

具体实施方式

在以下描述中，阐述了许多具体细节以提供对各种实施例的更透彻的理解。然而，对于本领域的技术人员将显而易见的是，可以在没有一个或更多个这些具体细节的情况下实践本发明构思。

如上所述，用于图像分割的传统方法涉及基于手动标记的训练数据来训练神经网络。生成这些训练数据可能非常耗时。此外，某些类型的训练数据只能由专家生成，其可能不容易手动标记图像。

为了解决这个问题，各种实施例包括神经网络，其被训练以将可以包括感兴趣特征的输入图像翻译(translate)成不包括感兴趣特征的翻译图像(translated image)。可以将输入图像与翻译图像进行比较，以揭示输入图像中感兴趣特征所在的区域。

在一个实施例中，基于弱标记的训练数据来训练神经网络。弱标记的训练数据包括包含感兴趣特征的第一组图像和不包含感兴趣特征的第二组图像。弱标记的训练数据还包括每个图像的标签，其指示感兴趣特征的存在或不存在。感兴趣特征对于第一组图像是唯一的，因此在本文中可以被称为“独特特征(unique feature)”。两组图像还包括两组图像中都包含的各种其他特征。这些特征在本文中可以被称为“公共特征”。