[发明专利]一种基于注意力机制的时频信息动态融合解码方法及装置

说明书

本发明实施例提供一种基于注意力机制的时频信息动态融合解码方法及装置，所述方法包括：接收神经信号，获取神经信号中的锋电位信号对应的时域特征和场电位信号对应的频域特征；基于时域特征结合自注意力机制建模，得到动态增强时域特征；基于频域特征结合自注意力机制建模得到动态增强频域特征；并基于动态增强后的时域特征及频域特征，结合交叉注意力机制建模，得到时频特征；根据动态融合后的时频特征，结合分类变量计算解码结果。采用本方法能够动态调整两种信号的融合方式，降低信号的变化对解码性能的影响，提高了神经解码对时间变化和噪声的鲁棒性，实现了更准确且鲁棒的神经解码。

技术领域

本发明涉及运动神经信号解码技术领域，尤其涉及一种基于注意力机制的时频信息动态融合解码方法及装置。

背景技术

侵入式脑机接口可以通过神经活动与外部设备直接通信，这在运动功能恢复和神经假体等临床应用中显示出巨大潜力。在侵入式脑机接口的临床应用中，如何解决脑信号中存在的时间漂移和噪声严重问题，从而实现准确且鲁棒的解码结果至关重要。从侵入式脑机接口的数据来源角度来看，典型的神经信号包括动作电位（锋电位）和局部场电位（场电位）。这两种类型的信号对与运动相关的信息进行不同的编码。对于锋电位来说，运动信息由单个神经元放电活动的时间和频率编码，该信号包含更准确和高精度的运动信息，但容易受到噪声的影响，稳定性较差；对于场电位来说，该信号反映了大量神经元的集群活动，其频域信息包含了可用于运动解码的丰富信息，虽然在时间和空间上都表现出较低的分辨率，但是数据模式稳定。因此，双方的融合可以潜在地提高神经解码的准确性和鲁棒性。

近年来，已经有许多学者基于锋电位和场电位的融合解码得到了更加准确且鲁棒的性能。这些研究证明了锋电位和场电位融合的有效性和必要性，但它们大多直接连接两个信号而忽略了它们之间的相互作用。特别是，锋电位信号和场电位信号中的时谱连接在不同的任务和条件下显示出动态变化的特性，而现有方法使用锋电位和场电位之间的固定组合，导致性能欠佳。因此，如何根据样本的数据特点动态调整锋电位和场电位的连接，从而实现信号间的动态融合，实现稳定且鲁棒的解码性能，是当前运动神经解码领域仍待解决的重要问题。

发明内容

针对现有技术中存在的问题，本发明实施例提供一种基于注意力机制的时频信息动态融合解码方法及装置。

本发明实施例提供一种基于注意力机制的时频信息动态融合解码方法，包括：

接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征；

基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征；

基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征；

基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征；

根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果。

在其中一个实施例中，所述表征因子，包括：

查询表征、键表征和值表征。

在其中一个实施例中，所述方法还包括：