[发明专利]一种基于脑电信号的音乐音调想象区分方法

说明书

本发明公开一种基于脑电信号的音乐音调想象区分方法。受试者依次进行听觉刺激部分、短暂空白部分、想象音调部分、休息部分和基线校正部分五阶段的视听刺激，并获取对应阶段的脑电信号；将上述脑电信号预处理，然后将对应音调编号作为标签，构建训练样本。深度可分离卷积网络包括第一卷积层、第二卷积层、第三卷积层、Flatten层、标签分类器、域分类器；其中第一卷积层、第二卷积层、第三卷积层依次串联，Flatten层的输入为第三卷积层的输出，标签分类器、域分类器的输入均为Flatten层的输出。

技术领域

本发明属于脑电变化分析技术领域中基于脑电信号的音乐音调想象评估研究领域，具体涉及一种基于脑电信号的分析从而对想象的音乐音调进行判定的方法。

背景技术

人们总是能在某个时刻想起先前听到的一首歌或一段旋律，但是对于没有接受过音乐训练的人来说描述出想象到的音乐是一件非常困难的事情。随着脑电(EEG)技术及脑机接口(BCI)技术的发展，使得通过对脑电信号的分析并从中提取出相应的信息从而来分析人类相关的生理活动成为可能。在之前的研究中，简单英语音节的想象二分类存在着可区分的情况。但是目前的研究仅限于语音音节的想象且没有很好的区分效果，并没有对音乐音调的想象有较好的研究。简谱中拥有八个基础音，分别为1、2、3、4、5、6、7、i，前七个音分别唱作do、re、mi、fa、sol、la、si，第八个音仍唱do，但是比第一个音高八度，而频率则为第一个音的二倍，两者频率的相差一个倍频程。由此可见，音高八度即是差一个倍频程，频率则相差一倍。而这八个音的频率关系则分别为2^(1/6)、2^(1/6)、2^(1/12)、2^(1/6)、2^(1/6)、2^(1/6)、2^(1/12)。钢琴音中存在7个八度，其中最低音音频为27.5Hz，最高音频为4186Hz。

对想象声音这种自发生成的脑电信号的分析和处理是脑机接口技术的重要组成部分。脑电信号存在着成分复杂，信噪比低，不稳定等特点，所以对相应生理活动下的脑电信号的特征提取和分析是存在着一定难度但是却是非常有意义的。

对人脑的研究从未停止，人脑可看作是自然界中最复杂的天然系统之一，大脑中的信号传输通过大量的突触来完成，以此构成一个系统化的脑神经网络。在深度学习中，各层网络通过反向传播来修改各层的权值，这点类似于大脑中的突触的信息传输。因此，我们选择深度学习来对我们的脑电信号进行一个分类处理。

通过研究运动想象下的脑电信号可以实现无声编码指令，但是通过现阶段的运动想象的脑电信号来编写无声编码指令则存在着可编写指令少的缺点。音乐的音调种类繁多，若是能证明可以通过脑电信号将音乐音调的想象进行区分，则这将为脑电信号的无声编码指令做出巨大的贡献。因此，基于脑电信号的音乐音调想象的研究是有着巨大意义但也是非常困难的。

音乐音调的本质区别在于其频率的不同，而在先前的研究中已经证明对低频打击节奏的想象可以产生类间可分的脑电信号。但是针对全频段以及频率较接近的音调如何进行区分却未有人提出。

发明内容

本发明的目的是针对现有的针对全频段以及频率较接近的音调区分研究的不足，提出了一种基于脑电信号的新型音乐音调想象的区分方法。本发明可以在只需要被试较短的预训练数据的情况下训练出相对较好的深度可分离卷积网络来对被试的想象音乐音调进行较好的区分。

本发明具体实施方案系统流程图如图1，所采用的技术方案包括如下步骤：

步骤(1)、获取脑电信号；

受试者依次进行听觉刺激部分、短暂空白部分、想象音调部分、休息部分和基线校正部分五阶段的视听刺激，并获取对应阶段的脑电信号；

所述的听觉刺激部分要求在t1时间内受试者目光盯着注视点，并听取不同等级音域的钢琴音调；钢琴音域有7个八度，将其分为中低高三个等级，第一至第三个八度定义为低音调，第四至第五个八度定义为中音调，第六至第七个八度定义为高音调；