[发明专利]基于光场语义的图像处理方法、计算机装置、及存储介质

说明书

本申请的基于光场语义的图像处理方法、计算机装置、及存储介质，根据原始光场数据建立原始光场中一预设视角下的焦点图像堆栈；其中，所述焦点图像堆栈由一组不同深度的焦点图片组成；分析焦点图像堆栈中每个焦点图片所包含每个实例的语义信息，以形成语义焦点图像堆栈；根据所述语义焦点图像堆栈中属于同一实例在不同焦点图片的质量，选择其中质量最高的目标焦点图片来代表所述实例，以形成目标焦点图片集；将所述目标焦点图片集中的实例的语义信息传播至所述原始光场；本申请的方案能实现对实例语义的高效表示，提升商业应用价值。

技术领域

本申请涉及图像处理技术领域，尤其涉及基于光场语义的图像处理方法、计算机装置、及存储介质。

背景技术

图像语义分割是计算机视觉的基础任务之一。该任务以二维图像为输入，通过视觉算法分割出图像中的对象区域，并识别其中的内容，也即，在保证图像域连续性的同时为图片的每个像素点确定所属语义类别。传统分割方法多基于条件随机场、随机森林等统计学方法构建分类器，深度学习之后，运用卷积神经网络实现高效图片分类的同时，在分割问题上也取得了重大进展。同时，随着多视几何的发展，越来越多的研究者将立体视觉信息融合到传统单目视觉算法流程中。

但是，现有的图像语义分割算法，尤其是进一步的实例分割算法(InstanceSegmentation)，其能实现对同类型的不同目标物体的区分，算法较一般的语义分割更为复杂，因此如何提升运算效率，已成为业界亟待解决的技术问题。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供基于光场语义的图像处理方法、计算机装置、及存储介质，通过算法优化解决现有技术的问题。

为实现上述目标及其他相关目标，本申请提供一种基于光场语义的图像处理方法，包括：根据原始光场数据建立原始光场中一预设视角下的焦点图像堆栈；其中，所述焦点图像堆栈由一组不同深度的焦点图片组成；分析焦点图像堆栈中每个焦点图片所包含每个实例的语义信息，以形成语义焦点图像堆栈；根据所述语义焦点图像堆栈中属于同一实例在不同焦点图片的质量，选择其中质量最高的目标焦点图片来代表所述实例，以形成目标焦点图片集；将所述目标焦点图片集中的实例的语义信息传播至所述原始光场。

于本申请的一实施例中，所述原始光场数据是由相机阵列对应一场景在一或多个时间点同时拍摄得到的一或多个图像组所得到的。

于本申请的一实施例中，各所述焦点图片是在所述原始光场输入数据所对应场景的光场模型中沿深度平均采样得到的。

于本申请的一实施例中，所述分析焦点图像堆栈中每个焦点图片所包含每个实例的语义信息，包括：对应每个焦点图片进行实例分割以得到其中每个实例的实例语义图像区域及相应的语义置信度。

于本申请的一实施例中，所述实例分割的方法包括：Mask R-CNN、SDS、HyperColumns、CFM、DeepSharp Mask、MNC、ISFCN、FCIS、SIS及PAN中的任意一种。

于本申请的一实施例中，判断不同焦点图片中的实例属于同一物体的方法，包括：根据每个同一实例在不同焦点图片中边界框之间的相似度、以及每个同一实例所在的不同焦点图片间的深度差异，对实例所属物体的类别进行聚类分析。

于本申请的一实施例中，所述深度差异通过高斯距离度量。

于本申请的一实施例中，所述根据所述语义焦点图像堆栈中属于同一实例在不同焦点图片的质量，选择其中质量最高的目标焦点图片来代表所述实例，包括：获取每个实例在每个所述焦点图片的质量分数；其中，每个质量分数是根据每个实例语义图像区域分别在各焦点图片中的语义置信度和清晰度综合评价得到的。

于本申请的一实施例中，所述清晰度中包含对所取实例语义图像区域中像素的像素值在不同视角下差异的评价。

于本申请的一实施例中，所述不同视角包括所述预设视角同其最接近的其它视角。