[发明专利]图像结构化方法及装置

说明书

本发明提供了图像结构化方法和装置。该方法包括：基于第一神经网络提取图像的特征，其中特征用特征张量表示；基于第二神经网络执行如下操作，其中，第二神经网络包括第一层次神经网络和第二层次神经网络：基于第一层次神经网络，根据特征张量检测图像中的像素的归属类型并且计算图像中的像素与其所属的对象的中心点之间的距离，并根据上述距离，确定所述图像中的像素所属的特定对象；基于第二层次神经网络，根据特征张量以及像素的归属类型分析像素的属性；以及根据像素的属性和其所属的特定对象确定特定对象的属性。这避免了在图像结构化的检测对象和确定对象属性这两个环节中都引入额外的误差，显著提高了图像结构化分析的准确性。

技术领域

本发明涉及图像处理领域，更具体地涉及一种图像结构化方法和装置。

背景技术

随着通信网络、数据压缩和海量存储技术的发展，越来越多的多媒体信息以计算机可读的形式存在于互联网上。它们不仅包括常见的文字数据，还包括图像、视频等媒体信息。它们一般缺乏语义信息，信息检索系统难以对它们进行有效搜索，只有对媒体数据进行有效结构化，才能帮助人们更快地找到感兴趣内容。

图像结构化是一种图像内容信息提取的智能分析过程，它对图像内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息。可以理解，上述图像可以是一个或多个独立的图像，还可以是组成视频的帧。

目前，图像结构化，特别是视频结构化，已经应用到很多领域。例如，对行人、车辆的视频结构化是诸多安防应用中不可或缺的一环。

现有技术中，通常把诸如行人、车辆等对象的检测和属性分析分成两个独立的环节来完成。首先，在检测环节中，对每一视频帧，检测出行人和/或车辆。通过边框把它们的位置和大小表示出来。然后，分析边框中行人和/或车辆的属性信息，达到视频结构化的目的。在以上两个环节中，都可能引入额外的误差。尤其是在检测环节中，如果拍摄环境非常拥挤，那么检测所获得的边框并不能很好地表示检测对象的位置。例如在拥挤的人群中，大量的行人相互遮挡，因此边框也相互遮挡。如果使用边框来分析行人的属性，很容易因为被其他人挡住，而丢失信息，或引入错误信息。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种图像结构化方法和装置。

根据本发明一个方面，提供了一种图像结构化方法，包括：

基于第一神经网络提取图像的特征，其中所述特征用特征张量表示，所述特征张量的长和宽分别和所述图像的长和宽相等；

基于第二神经网络执行如下操作，其中，所述第二神经网络包括第一层次神经网络和第二层次神经网络：

基于所述第一层次神经网络，根据所述特征张量检测所述图像中的像素的归属类型并且计算所述图像中的像素与其所属的对象的中心点之间的距离，并根据所述图像中的像素与其所属的对象的中心点之间的距离，确定所述图像中的像素所属的特定对象，其中，所述归属类型包括所述所属的对象；以及

基于所述第二层次神经网络，根据所述特征张量以及所述图像中的像素的归属类型分析所述图像中的像素的属性；以及

根据所述图像中的像素的属性和所述图像中的像素所属的特定对象确定所述特定对象的属性。

示例性地，所述第一层次神经网络包括第一子神经网络层和第二子神经网络层，所述根据所述特征张量检测所述图像中的像素的归属类型包括：

基于所述第一子神经网络层，根据所述特征张量检测所述图像中的像素所属的对象；以及

基于所述第二子神经网络层，根据所述特征张量以及所述图像中的像素所属的对象，确定所述图像中的像素所属的对象的部位。

示例性地，所述根据所述特征张量以及所述图像中的像素的归属类型分析所述图像中的像素的属性包括：