[发明专利]使用图像分析算法给神经网络提供训练数据的方法和系统

说明书

本发明使用图像分析算法以给神经网络提供训练数据，大体涉及对神经网络进行训练的方法、计算机程序、计算机及系统，该神经网络接收多个输入数字图像，并且针对每个特定输入数字图像输出用于确定特定输入数字图像中的像素组的相关度的数据。

技术领域

本申请大体涉及对神经网络进行训练的方法、计算机程序、计算机及系统，该神经网络接收多个输入数字图像，并且针对每个特定输入数字图像输出用于确定特定输入数字图像中的像素组的相关度的数据。

背景技术

图像处理中的许多应用需要向不同的图像区域可变地分配资源。例如，能够基于图像的特定特性选择压缩参数，或图像区域能够遭受可变的纠错度，以实现传输可靠性与效率等之间的优化权衡等等。对图像区域的相关度自动进行标识以确定应该向特定的图像区域分配多少资源具有重大意义，而运行此类算法还可能需要宝贵的CPU时间。这可能导致问题，例如，如果许多程序对诸如监控相机的嵌入式平台上的有限资源进行竞争。

发明内容

鉴于上述情况，本发明的目的是解决或至少降低以上所讨论的一个或几个缺陷。大体上通过所附的独立专利权利要求来实现以上目的。

根据第一方面，本发明由一种用于对神经网络进行训练的方法来实现，该神经网络接收多个输入数字图像，并且针对每个特定输入数字图像输出用于确定特定输入数字图像中的像素组的相关度的数据。该方法包括通过以下步骤确定训练数据集：针对多个数字训练图像，通过使用被配置为自动地利用相关度对像素组进行标记的第一图像分析算法来确定多个数字训练图像中的每个特定数字训练图像中的像素组的相关度，将多个数字训练图像和标记纳为训练数据集，并将训练数据集用于神经网络的训练。

在本说明书的上下文中，术语“神经网络”应当理解为互连的节点组，类似于大脑中庞大的神经元网络。神经网络还可被称作“人工神经网络”(ANN)。此上下文中可以使用的一种特定类型的神经网络为卷积神经网络(CNN)。术语“深度学习”也被普遍使用。

在本说明书的上下文中，术语“相关度”应当理解为图像中对应区域的图像内容的兴趣(例如对于用户)等级。换言之，相关度与图像中的区域(像素组)相对应，且相关度定义图像的观看者对那一区域的图像内容有多感兴趣。这可以有利地用于分布关于图像的比特率预算。例如，相关度可以用于控制相应区域的压缩程度，例如，通过设置压缩度或确定编码器应该对那一区域进行怎样程度的跳过编码(skip coding)等。相关度可以进一步用于错误编码的目的，例如，确定传输被编码的图像时的纠错程度。图像的特定区域的相对较高的相关度意味着：相较于相关度较低的另一图像区域，可以对那一特定区域耗费较大部分的比特率预算。

现有技术中可以代替相关度而使用的其它术语包括“兴趣区域”或“ROI”。

在本发明的上下文中，术语“被配置为自动地利用相关度对像素组进行标记的图像分析算法”应当理解为能够用于基于那一部分的图像特性(即，图像分析)、对图像中的相应区域(例如，宏块)的图像内容的兴趣(例如对于用户)自动地(例如，通过计算机，无人工辅助)进行分级的任意合适的算法。图像特性可以是空域的，例如，存在于数字图像的部分中的边缘、噪声的存在、重复变形(repetitively textured)的部分、面部识别、物体检测等。图像特性还可以是时域的，例如动作检测。合适的图像分析算法的示例为安讯士网络通讯有限公司所提供的压缩流算法。例如，在编号为EP3021583的欧洲专利申请中描述了此算法的部分。

发明人已意识到采用使用如上所述的现有图像分析算法训练的神经网络具有数个优点。例如，神经网络的设计非常简单，使得其本身易于硬件实现，这是因为神经网络通过巨量的非常重复但非常简单的计算来运行。此外，在模型压缩领域内完成的正在进行的工作使得神经网络用于诸如监控相机的嵌入式平台逐步更为可行。照此，将神经网络用于例如监控相机的嵌入式平台可以优于在相机中运行实际的图像分析算法。