[发明专利]一种基于注意力机制的时频信息动态融合解码方法及装置

权利要求书

1.一种基于注意力机制的时频信息动态融合解码方法，其特征在于，包括：

接收目标用户基于动作行为产生的神经信号，对所述神经信号进行预处理，获取所述神经信号中的锋电位信号和场电位信号，并基于所述锋电位信号提取不同时间步内的时域特征，基于所述场电位信号提取不同频段内的频域特征；

基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征；

基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征；

基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征；

根据所述动态融合后的时频特征，结合时域分类变量及频域分类变量，计算与所述时频特征对应的时域特征及频域特征，并通过所述时频特征对应的时域特征及频域特征计算解码结果；

所述表征因子，包括：

查询表征、键表征和值表征；

所述基于不同时间步内的时域特征，通过线性转换得到不同时间步对应的表征因子，结合自注意力机制建模，通过模型确定不同时间步的关联性，并通过所述关联性动态增强所述时域特征，包括：

基于不同时间步内的时域特征，结合所述查询表征、键表征和值表征对应的线性转换矩阵，结合对应的时间步，计算得到不同时间步对应的查询表征、键表征和值表征；

通过每个时间步的查询表征计算与其余时间步的键表征之间的连接强度，并基于所述连接强度定义对应时间步的值表征加权的权重值，通过所述连接强度及权重值计算得到不同时间步对应的时域特征，并应用残差连接和带有层归一化的全连接前馈层进行所述时域特征的动态增强；

所述基于不同频段内的频域特征，通过线性转换得到不同频段对应的表征因子，结合自注意力机制建模，通过模型确定不同频段的关联性，并通过所述关联性动态增强所述频域特征，包括：

基于不同频段内的时域特征，结合所述查询表征、键表征和值表征对应的线性转换矩阵，结合对应的频段，计算得到不同频段对应的查询表征、键表征和值表征；

通过每个频段的查询表征计算与其余频段的键表征之间的连接强度，并基于所述连接强度定义对应频段的值表征加权的权重值，通过所述连接强度及权重值计算得到不同频段对应的频域特征，并应用残差连接和带有层归一化的全连接前馈层进行所述频域特征的动态增强所述基于动态增强后的时域特征及频域特征，通过线性转换得到动态增强后不同时间步对应的表征因子及不同频段对应的表征因子，结合交叉注意力机制建模，通过模型确定时域特征和频域特征之间的关联性，并基于所述关联性动态融合得到时频特征，包括：

基于动态增强后的时域特征，学习得到对应的查询表征、键表征和值表征对应的线性转换矩阵，结合对应的时域特征，计算得到不同时间步对应的查询表征、键表征和值表征；

基于动态增强后的频域特征，学习得到对应的查询表征、键表征和值表征对应的线性转换矩阵，结合对应的频域特征，计算得到不同频段对应的查询表征、键表征和值表征；

通过每个时间步的查询表征计算与每个频段的键表征之间的连接强度，并基于所述连接强度定义对应频段的值表征加权的权重值，通过所述连接强度及权重值计算得到以时域特征为查询基的频域特征；

通过每个频段的查询表征计算与每个时间步的键表征之间的连接强度，并基于所述连接强度定义对应时间步的值表征加权的权重值，通过所述连接强度及权重值计算得到以频域特征为查询基的时域特征；

将所述以时域特征为查询基的频域特征、以频域特征为查询基的时域特征进行动态融合，得到对应的时频特征。

2.根据权利要求1所述的基于注意力机制的时频信息动态融合解码方法，其特征在于，所述通过所述时频特征对应的时域特征及频域特征计算解码结果之后，还包括：

基于所述时频特征对应的时域特征及频域特征，结合所述动作行为的对应特征，通过多层感知器计算所述解码结果的损失率。