[发明专利]基于深层卷积网络的RGB-D图像的物体检测和语义分割方法

摘要

本发明公开了基于深层卷积网络的RGB‑D图像的物体检测和语义分割方法，属于深度学习及机器视觉领域。本方法采用的技术方案中使用Faster‑RCNN替换原来缓慢的RCNN，Faster‑RCNN使用GPU不仅在提取特征方面拥有很快速度，而且在网络中能同时产生区域方案，能够实现整个训练过程是端到端的训练，同时使用FCN执行RGB‑D图像的语义分割，FCN使用GPU和深层卷积网络快速提取图像的深层特征，利用反卷积操作把图像卷积的深层特征和浅层特征进行融合，把图像的局部语义信息融入到全局语义信息中。

主权项

1.基于深层卷积网络的RGB‑D图像的物体检测和语义分割方法，其特征在于：S1、通过RGB图像计算灰度图像，通过灰度图像和HHA图像合并成HHG图像；HHA三个通道的离散傅里叶变换的光学图像中，有最明显的区别是A通道的离散傅里叶变换，其体现在直流分量即横纵坐标轴的强度很微弱，故舍去这个通道；由于RGB三个通道的离散傅里叶变换的光学图像都相似而且直流分量的强度也强烈，使用RGB图像的灰度图像替换HHA图像的中的A通道图像，所以使用融合RGB图像和深度图像的三通道图像为HHG图像；S2、使用Faster‑RCNN作为HHG图像的物体检测系统；使用HHG图像作为网络的输入数据，通过Faster‑RCNN中的RPN产生Region Proposals，通过Fast‑RCNN提取Region Proposals的特征，然后对每一个Region Proposals进行分类，检测结果为在HHG图像中用一个矩形框标出物体的位置和范围，并且标出该矩形框中物体的类别；S3、改变非极大值抑制即NMS保留边框的机制，把边框周围的边框数量作为评价因素；具体的步骤如下：每一个边框是一个5元组(x1，y1，x2，y2，score)，其中(x1，y1)是边框左上角的坐标，(x2，y2)是边框右下角的坐标，score是边框中包含物体的置信度；边框首先按照score值对每一个元组进行升序排序；按如下公式计算边框的交比并重叠率；其中，O_(i，j)表示边框i和边框j的交比并重叠率，inter_(i，j)表示边框i和边框j的重叠面积，area_(i)表示边框i的面积，area_(j)表示框j的面积；对于边框i，统计的数量Sum_i，如果Sum_i≥δ，舍去边框i，反之保留，n代表边框总数量，δ代表取舍阈值；S4、利用HHG图像和FCN完成RGB‑D图像的语义分割任务；使用HHG图像作为FCN的输入数据，通过FCN提取语义特征并分类后，输出HHG图像中每一个像素点的类别标签，用标签值作为该像素点的像素值。