[发明专利]多模式交互音乐感知系统及其控制方法

说明书

本发明公开了一种多模式交互音乐感知系统及其控制方法，包括音乐文件库内依次连接的音乐文件数据库、音乐文件解码器和音乐文件缓冲区，所述音乐文件缓冲区与主控制器连接，该主控制器获取音乐文件缓冲区任一音乐文件，主控制器还连接有音乐情感识别器、音乐播放控制系统、音乐可视化控制系统、音乐情感热触控制系统；音乐播放控制系统、音乐可视化控制系统、音乐情感热触控制系统对任一音乐文件同步进行的声音播放、视频播放、热触觉感知控制。有益效果：实现听觉、视觉和热触觉同步交互感知音乐的旋律及音乐的情感，加深人们对音乐情感的感知度。让人们身临其境，感知音乐。

技术领域

本发明涉及音乐感知技术领域，具体的说是一种多模式交互音乐感知系统及其控制方法。

背景技术

音乐是以乐音为表现媒介和载体。在时间中展现用来表达人们的思想情感、反映现实生活的艺术体验与娱乐方式。迄今为止，人们感知音乐的主要方式仍然是凭借听觉来实现，但是音乐的表现形式和情感信息的传达并不仅仅局限在声学情景中。

古人弹曲，舞剑助兴，手、眼、步和身法做到高度协调，节奏分明，劲力充足，以求达到十分精妙的听觉和视觉上的音乐体验。现代社会，人们借助声、光、电等高科技载歌载舞、体验音乐，达到美妙的视、听效果和情感交互，如音乐晚会、音乐喷泉等。由此可见，从古至今，这些行为都反映了人们渴望通过听觉、视觉和触觉等多感知模式同步交互，感知乐音的音高、响度、时长和音色，体验音乐的节奏、旋律、和声、调式和调性等特征，最终实现人与音乐的情感同步交互，达到一种美妙的效果与功能。

当前，随着人们的物质生活水平的逐年增高，人们对精神生活的需求提出了更高的要求。追求物质文明和精神文明是社会进步的内在驱动力，信息传播的方式正在从“多媒休”时代走向“全媒体”时代，人们不再只满足于基于“听-视觉”交互感知音乐。

再者，对于听觉残障人群，不能够“听”到音乐，但是他们也渴望能够体验音乐的情感、接受音乐教育和从事音乐表演。近代心理学研究成果表明,音乐感知是多感知系统协同的认知活动,并不仅仅局限于听觉，在适当的刺激方式下，视觉和触觉也能够能通过联觉感知音乐。2007年，Edward等人的研究成果表明，听觉残障人士用来处理触觉信息的大脑部位与正常人处理听觉信息的部位相同，这就意味着听觉残障人士能够利用身体皮肤的触觉感知音乐，能够像正常人一样体验音乐。这些研究成果为开展“触觉辅助或替代听觉感知音乐”的相关研究奠定了生理和心理基础。

根据上述陈述，有必要提出一种将“听-视-触觉”相结合的音乐感知技术，来满足人们对音乐感知的需求。

发明内容

针对上述问题，本发明提供了一种多模式交互音乐感知系统及其控制方法，实现听觉、视觉与热触觉多感知交互模式对音乐旋律及音乐情感进行感知，加深人们对音乐情感的感知。

为达到上述目的，本发明采用的具体技术方案如下：

一种多模式交互音乐感知系统，包括音乐文件库，所述音乐文件库内设置有音乐文件数据库、音乐文件解码器和音乐文件缓冲区，所述音乐文件数据库中的音乐文件经所述音乐文件解码器解码后保存在所述音乐文件缓冲区中，所述音乐文件缓冲区的缓冲数据输出端与主控制器连接，所述主控制器的播放控制输出端连接有音乐播放控制系统，该音乐播放控制系统对任一音乐文件A进行音频声音播放控制，其关键在于：所述音乐文件缓冲区的缓冲数据输出端与主控制器连接；所述主控制器的情感识别端上连接有音乐情感识别器，该音乐情感识别器对音乐文件数据库中任一音乐文件A进行情感类型识别，并将识别的情感类型反馈给主控制器；所述主控制器的可视化控制输出端上连接有音乐可视化控制系统，该音乐可视化控制系统对任一音乐文件A进行音频可视化视频播放控制；所述主控制器的热触控制输出端连接有音乐情感热触控制系统；该音乐情感热触控制系统对任一音乐文件A进行音频热触觉感知控制；所述音乐播放控制系统、音乐可视化控制系统、音乐情感热触控制系统对任一音乐文件A进行的声音播放控制、视频播放控制、热触觉感知控制均同步。