[发明专利]基于自注意力的时间通道联合注意力的事件流分类方法

说明书

本发明公开的基于自注意力的时间通道联合注意力的事件流分类方法，属于计算机视觉识别技术领域。本发明实现方法为：对神经形态数据集预处理，将事件流表示的数据转换为基于帧的表示形式；基于自注意力的时间通道联合注意力模块采用压缩和激励结构；在压缩阶段分别采用平均池化和最大池化聚合空间信息并将其叠加合并，得到时间‑通道特征；在激励阶段采用自注意力对该时间‑通道特征进行全局建模，获取通道信息在时间维度的全局依赖性；通过训练自注意力的时间通道联合注意力的脉冲神经网络，捕获时间和通道维度的全局上下文信息；通过训练好的脉冲神经网络实现事件流分类，提高对事件流分类精度。本发明能够提高视觉识别精度和效率。

技术领域

本发明涉及基于自注意力的时间通道联合注意力的事件流分类方法，属于计算机视觉识别技术领域。

背景技术

脉冲神经网络(Spiking Neural Networks,SNN)以事件驱动的方式工作，具有高度仿生性，被称为第三代人工神经网络。脉冲神经元之间通过离散的脉冲传递信息，能够处理时空模式的动态数据，使得SNN在实时性和能效要求较高的场合具有广泛的应用前景。

神经形态视觉传感器是受生物视觉处理机制启发,捕捉视野中的光强变化并产生异步事件流的一类传感器。动态视觉传感器(DVS)作为代表性的一种，以极高的事件速率将每个像素的亮度变化的时间、位置和极性编码到事件流中。与传统基于帧的相机相比，基于事件的DVS具有非常高的动态范围，可以在复杂的照明条件下获取信息，具有高时间分辨率，可避免运动模糊。由于事件仅当强度改变时才会被触发，因此DVS需要更少的资源。这些优势促进了DVS在各种视觉任务中的应用，例如自动驾驶、高速目标跟踪、光流估计和动作识别。由DVS拍摄的神经形态数据集是基于事件的，具有内在的时序特征，为脉冲神经网络展示时空信息处理能力提供了一个良好的平台，但是存在事件流分类精度低的问题。

注意力机制模拟人类在复杂场景中选择性地找到显著性区域的能力。研究人员将注意力机制作为轻量级辅助单元引入SNN，以便与现有架构轻松集成，可提高基本模型的表达能力，从而提高分类精度。例如，基于时间维度的注意力模型TA-SNN通过为每个输入帧分配注意力因子来判断输入帧对最终决策的重要性。多维注意力模型MA-SNN在时间、通道和空间三个维度上计算注意力权重，利用注意力权重来优化膜电位，调节脉冲响应。STSC-SNN结合时间卷积和注意力机制进行时空突触连接来实现突触的过滤和门控功能，来增强突触连接的时空感受野，建立跨层的时间依赖性。SCTFA建立空间-通道-时间融合注意力模块，通过利用历史积累的空间通道信息有效地捕获潜在的目标区域。TCJA-SNN采用一维卷积操作对时间维度和通道维度注意力进行建模。然而，以上采用的卷积操作限制了时空感受野，不能建立时间和通道的全局依赖关系。

发明内容

为了解决现有事件流分类精度低的问题，本发明的主要目的是提供一种基于自注意力的时间通道联合注意力的事件流分类方法，使用自注意力机制在时间和通道维度进行全局建模，基于脉冲神经网络实现时间通道联合注意力的事件流分类，提高事件流分类精度。

本发明的目的是通过下述技术方案实现的：

本发明公开的基于自注意力的时间通道联合注意力的事件流分类方法，包括如下步骤：

步骤一：对神经形态数据集进行预处理，将事件流表示的数据转换为基于帧的表示形式；

步骤二：基于自注意力的时间通道联合注意力(Self-attention-based TemporalChannel joint Attention，STCA)模块采用压缩和激励结构，构建基于自注意力的时间通道联合注意力的脉冲神经网络；在压缩阶段分别采用平均池化和最大池化聚合空间信息并将其叠加合并，得到时间-通道特征；在激励阶段采用自注意力对该时间-通道特征进行全局建模，获取通道信息在时间维度的全局依赖性。