[发明专利]基于事件序列训练神经网络实现目标分割的方法及装置

说明书

本发明公开了一种基于事件序列训练神经网络实现目标分割的方法及装置。所述分割方法包括：获取目标的事件序列，利用预定长度的时间窗将所述事件序列转换事件帧；将所述事件帧输入经过训练的目标分割网络，得到目标分割图；以及基于设定阈值将所述目标分割图分割为二值图。本发明采用事件相机获取目标事件序列，通过训练神经网络完成高速目标分割，仅需标注和训练几类目标即可完成对未经过训练的目标分割，具有类别无关特性。并且，能有效避免噪声的干扰，同时具有较强的环境适应性，在暗光下同样具有很好的鲁棒性。

技术领域

本发明属于计算机视觉及人工智能技术领域，具体涉及一种基于事件序列训练神经网络实现目标分割的方法及装置。

背景技术

在一些智能体的避障任务中，需要检测到迎面而来的障碍物，并对目标区域进行深度估计，以及时做出避障规划。障碍物的检测及目标区域的提取可用目标检测或目标分割的方法来实现。

智能体在进行目标检测时，每检测一类目标，都需要采集该类目标的数据并进行训练，耗费成本较大，并且智能体在实际环境中遇到的障碍物是多种多样的，不可能事先全部采集到。而传统的图像分割主要基于RGB图像，由于RGB图像是在固定帧率下拍摄的，因此在捕捉高速运动的目标时会形成运动模糊，并且在暗光条件下很难发现目标。

事件相机能异步地捕捉高速运动目标，并且在暗光下也具有鲁棒性，可以在一定程度上解决上述问题。对于事件相机，目前一般采用阈值分割法来分割运动目标，即利用高速运动目标的事件数多于背景的特点来分割出目标。然而，当存在背景噪声(例如背景晃动)时则难以准确分割出不相关的目标，因此环境适应性较弱。

发明内容

本发明旨在公开一种基于事件相机的目标分割方法及装置，以提高目标分割的抗噪声干扰能力及环境适应性。

根据本发明的第1方面，公开了一种目标分割方法，包括：

获取目标的事件序列，利用预定长度的时间窗将所述事件序列转换事件帧；

将所述事件帧输入经过训练的目标分割网络，得到目标分割图；以及

基于设定阈值将所述目标分割图分割为二值图。

在其他的一些示例中，每个事件帧包括第一通道、第二通道及第三通道；其中，对于任一时间窗，将该时间窗内所有p为正极性的事件累加，每个位置(x,y)处的p为正极性的累计事件个数作为该位置(x,y)处的像素值，得到事件帧的第一通道；将该时间窗内所有p为负极性的事件累加，每个位置(x,y)处的p为负极性的累计事件个数作为该位置(x,y)处的像素值，得到事件帧的第二通道；以及将平均时间面作为事件帧的第三通道。

在其他的一些示例中，所述将所述事件帧输入经过训练的目标分割网络，包括：输入到所述目标分割网络的事件帧包括第一通道、第二通道、第三通道，或者仅包括第三通道，或者仅包括第一通道和第二通道。

在其他的一些示例中，所述目标分割网络首先利用卷积层对输入的事件帧进行特征提取，再利用反卷积层将图像尺寸还原。

在其他的一些示例中，所述目标分割网络由编码器和解码器组成，所述编码器由多层卷积层组成，所述解码器由多层反卷积层组成，每个卷积层及反卷积层后面都连接有BN层和RELU层。

在其他的一些示例中，将输出尺寸一致的卷积层与反卷积层的输出叠加后输入下一层反卷积层。

在其他的一些示例中，所述第一层未采用轻量化网络结构，其后连接BN层和RELU层；其他层均采用轻量化网络结构，每一层卷积层由一深度可分离卷积层和一1x1卷积层组成，每一层反卷积层由一深度可分离反卷积层和一1x1卷积层组成，每个1x1卷积层后均连接有BN层和RELU层。

根据本发明的第2方面，还公开了一种目标分割装置，包括：

数据获取模块，用于获取目标的事件序列；