[发明专利]一种利用生物电流的音乐控制装置及控制方法

说明书

一种利用生物电流的音乐控制装置及控制方法，其可通过手势实现人与音乐的交互，并可对音乐参数进行编辑或控制，其包括电极片、壳体、安装于壳体内部的控制芯片U1、手势控制模块，电极片贴装于植物叶片上，电极片与控制芯片U1电连接，控制芯片U1通过MIDI信号传输通道与控制器连接，手势控制模块包括手势传感器、Arduino Lilypad，控制芯片U1内设置有模数转换模块、比较模块，一种音频控制的方法，其包括以下步骤：变量初始化、获取植物叶片上的电位值、对电位值与预先设定的电位阈值进行比较、将电位值转化为MIDI信号、将MIDI数据输送给控制器、通过手势传感器检测手势动作、控制器根据手势动作控制音频的响度、振幅、压缩及混响。

技术领域

本发明涉及人机交互技术领域，尤其涉及一种利用生物电流的音乐控制装置及控制方法。

背景技术

随着音频控制技术的发展，出现了通过触碰植物进行音乐演奏、丰富音乐创作的全新人机交互体验方式，公告号为CN106601219A的专利文献公开了一种用植物奏乐的乐器，其基于检测人触碰植物不同位置所产生的电信号变化、并将其转化为不同音频控制信号的系统和方法，也就是通过触摸植物来播放不同频率的声音，其主要包括：植物盆、用于检测人触碰植物不同位置所产生的电信号变化的检测模块、用于输出电信号至所述检测模块,并根据电信号变化产生不同的音频控制信号的控制芯片U1、用于接收到控制芯片U1因人触碰植物不同位置而输出的音频控制信号并输出不同频率声音的音频播放模块，其还公开了一种用植物奏乐的乐器控制方法，其可以通过触摸植物来创作音乐的全新人机交互体验,触碰植物不同部位可以发出不同的频率的声音，然而此方法未能将电信号或音频控制信号转换为现代音乐制作人使用数字音乐工作站、电子乐器时频繁使用的MIDI信号、用户不能对声音的各项参数进行控制和调整，比如自由调整音调的高低、响度的大小；交互方式上依靠触摸植物的位置的变化来改变音高，但是音高和位置没有明确的逻辑对应关系，因此不便于用户判断；创作音乐时只能先录音再通过其他方法进行后期调整，对于音乐创作来说具有相当的局限性。

手势识别是计算机科学和语言技术中的一个主题，目的是通过数学算法来识别人类手势，手势可以源自任何身体运动或状态，但通常源自面部或手，本领域中的当前焦点包括来自面部和手势识别的情感识别，用户可以使用简单的手势来控制或与设备交互，而无需接触他们。从而在机器和人之间搭建比原始文本用户界面或甚至GUI（图形用户界面）更丰富的桥梁。An approach to natural gesture in virtual environment，pages 180-182. Gesture Based Interaction NUI: An Overview,pages 633-635.等文献都对此技术作了详细的介绍，手势识别使人们能够与机器（HMI）进行通信，并且无需任何机械设备即可自然交互，使用手势识别的概念，可以将手指指向计算机屏幕，使得光标将相应地移动，这可能使常规输入设备（如鼠标，键盘甚至触摸屏）变得冗余，将手势识别运用在电子音乐创作中具有创新性，这一方式能够让音乐人摆脱用一手操作键盘、另一手移动鼠标来创作数字音乐或用双手演奏单一乐器的局限性，让音乐人既能用单手完成操作传统机械旋钮的复杂指令，又能通过双手进行多个音轨、多种通道的协奏，使得音乐人在使用多种多样的设备进行创作时能更加灵活。但现阶段就用手势识别技术直接替代传统的交互手段，并不一定意味着高效和进步，手势识别技术的应用场景和与之相匹配的其他系统的更新是这项技术能否带来交互变革的难点。

现有技术中还提供了一种将哼唱旋律转换为MIDI旋律的转换方法，公开号为CN105244021B，其采用一种基于相邻或间邻哼唱音符音程分析的哼唱旋律的调性分析法。即先估算实际哼唱相邻或间邻哼唱音符的音程，而后再在音程序列上估算哼唱旋律的调性。并由此建立期望哼唱旋律的估算模型。这种方法是将声音信号转为MIDI信号，涉及到语音识别或合成技术，通过分析语音后可得到估算的音调，让MIDI旋律匹配语音识别的结果的，但是植物电信号本身不包含声音信息，需要对数据进行分析和转换才能得到和谐的MIDI旋律。