[发明专利]脉冲序列随机化方法、装置、类脑芯片和电子设备

说明书

本发明涉及一种脉冲序列随机化方法、装置、类脑芯片和电子设备。为了将帧图像传感器输出的图像，或传感器采集的环境信号转换成适合脉冲神经网络处理器处理的随机化的目标脉冲序列，本发明通过存储脉冲事件地址、脉冲事件数量，以及根据随机数生成模块来读取对应的脉冲事件地址或脉冲事件数量，由此生成对应的脉冲事件构成的目标脉冲序列。本发明具有低硬件资源消耗、随机化效果好、轮廓增强和抑制背景噪声的技术效果，为生成具有生物特性的脉冲序列提供了一种新的技术路径。本发明适用于类脑芯片领域。

技术领域

本发明涉及一种脉冲序列随机化方法、装置、类脑芯片和电子设备，并具体涉及一种将图像转换为随机的脉冲序列的方法、装置、类脑芯片和电子设备。

背景技术

动态视觉传感器（Dynamic Vision Sensor, DVS）是一种部署有独立感光像素阵列的新型传感器，在像素感受到光强变化后独立地、异步地向后一级系统（比如类脑芯片）发送脉冲事件。因为具有超高时间分辨率因而备受关注，但是目前其信噪比、暗光感测能力、一致性、可测性与实际应用需求还有一定差距。

传统的基于帧（frame）的图像传感器（比如CMOS传感器、CCD传感器等，简称帧图像传感器）是较为成熟的图像捕捉设备，其信噪比高，但并不能生成脉冲事件，只能以帧为单位连续生成多张图像。

通过帧图像传感器生成符合脉冲神经网络（Spiking Neural Network，SNN）处理器（也称类脑芯片）需求的脉冲序列（理想地，为符合泊松分布的随机脉冲序列），是DVS传感器的一种替代方案。更为有利的是，该替代方案可以直接集成在具有帧图像传感器的电子设备中，直接使用已有设备。

现有技术1：CN111898737A；

现有技术2：CN111860786A；

现有技术3：EP3789909A1。

现有技术1-2给出了将数值/图像转换为脉冲序列的方案，其核心在于对于具体某个像素值生成初始脉冲序列后随即交换或更改一定数量的脉冲来获得目标脉冲序列。但是其缺点是随机交换或更改的脉冲数量一定是有限次，难以保证随机化的效果，尤其当时间步较长时；硬件实现的代价相对较高；此外其并未提及差帧方式获得轮廓信息，而是仅针对普通的帧图像的每个像素值进行随机脉冲序列转换，而这种方式获得的脉冲序列在脉冲神经网络中的识别准确度极低。

现有技术3则给出了基于差帧的感兴趣区域提取方案，但并未给出脉冲序列随机化的方案。

基于此，本发明提出一种脉冲序列随机化的方法、装置、类脑芯片和电子设备。

发明内容

为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：

一种脉冲序列随机化方法，其包括如下步骤：获取帧图像之间的差帧像素值；根据差帧像素值，计算该差帧像素值对应的脉冲事件数量；该脉冲序列随机化方法至少还包括如下步骤之一：i）在数量与所述脉冲事件数量相同的存储单元中均存储所述差帧像素值对应的像素坐标；根据当前获取的随机数，读取对应该随机数的存储单元中所存储的像素坐标；至少根据所读取的像素坐标信息，生成目标脉冲序列中的脉冲事件；ii）将所述脉冲事件数量存储至与所述差帧像素值的像素坐标所对应的存储单元中；根据当前获取的随机数，读取对应该随机数的存储单元中所存储的脉冲事件数量；若所读取的脉冲事件数量非零，则至少根据该存储单元所对应的差帧像素值的像素坐标信息，生成目标脉冲序列中的脉冲事件。

在某类实施例中，所述差帧像素值，是相邻两帧或相隔若干（≥1）帧的帧图像之间的像素值之差，或相邻两帧图像之间的像素值之差的绝对值。