[发明专利]一种基于计算机视觉的乐器演奏方法及装置

说明书

技术领域

本申请涉及通信技术、计算机技术领域，尤其是涉及一种基于计算机视觉的乐器演奏方法及装置。

背景技术

传统的乐器演奏，需要通过对物理的乐器进行针对性的控制，通过一定的物理震动产生不同的声音效果，由此来演奏出不同的音乐曲调。以“架子鼓”这种乐器为例，需要通过对不同的鼓面打击产生不同声音效果，产生演奏韵律。另一种是在触屏手机或者触屏平板电脑上开发的一种app，通过程序设计，用户在触摸屏的虚拟界面上进行点触交互，软件将点触区域对应的一个音频文件触发播放，产生演奏韵律。从实体的乐器演奏转变成虚拟的乐器演奏。架子鼓的问题是在于设备成本过高，体积过大，用户需要通过在实体架子鼓上演奏必需通过较高昂的设备成本才能实现演奏效果。以此类推各种打击乐器都可以在app内实现声音演奏，在手机app上模拟演奏不需要固定的乐器，大大降低了设备成本，但是还是需要一个有屏幕的具有计算能力的设备，例如手机或者平板电脑，成本还是过高。

本发明通过一个摄像头模组加一个wifi联网模块和喇叭和若干卡片，可以实现各种打击乐器的演奏效果实现，使得演奏的设备成本变得更低，还可以通过对卡片不同区域遮挡达到播放不同音阶的效果。

发明内容

本申请实施例提供一种基于计算机视觉的乐器演奏方法及装置。

本发明提供了一种基于计算机视觉的乐器演奏方法，该方法包括：

接收到拍摄的卡片照片后选择对应的音频；

播放所述对应的音频。

优选地，所述接收到拍摄的卡片照片后选择对应的音频包括：

服务端接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库；

所述服务端接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频发送到设备端。

优选地，所述服务端接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库包括：

所述服务端接收设备端拍摄的无遮挡卡片照片；

所述服务端提取所述无遮挡卡片照片关键特征，并将所述无遮挡卡片照片关键特征与卡片模型库比对，得到所述无遮挡卡片照片关键特征的最高分；

所述服务端选择与所述最高分对应的乐器模型识别库。

优选地，所述所述服务端接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频发送到设备端包括：

所述服务端接收设备端拍摄的有遮挡卡片照片；

所述服务端提取所述有遮挡卡片照片关键特征，并将所述有遮挡卡片照片关键特征与所述对应的乐器模型识别库比对，得到有遮挡卡片照片关键特征的最高分；

所述服务端将所述最高分对应的音频发送到所述设备端。

优选地，所述播放所述对应的音频包括所述设备端收到所述服务端发送的音频链接后连接音频流并同步加载和播放。

优选地，所述方法还包括：

设备端接收到拍摄的无遮挡卡片照片后选择对应的乐器模型识别库；

所述设备端接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频。

优选地，所述设备端接收到所述拍摄的无遮挡卡片照片后选择对应的乐器模型识别库包括：

所述设备端接收设备端拍摄的无遮挡卡片照片；

所述设备端提取所述无遮挡卡片照片关键特征，并将所述无遮挡卡片照片关键特征与卡片模型库比对，得到所述无遮挡卡片照片关键特征的最高分；

所述设备端选择与所述最高分对应的乐器模型识别库。

优选地，所述所述设备端接收到拍摄的有遮挡卡片照片后，根据所述对应的乐器模型识别库选择与所述有遮挡卡片对应的音频包括：

所述设备端接收设备端拍摄的有遮挡卡片照片；

所述设备端提取所述有遮挡卡片照片关键特征，并将所述有遮挡卡片照片关键特征与所述对应的乐器模型识别库比对，得到有遮挡卡片照片关键特征的最高分；

所述设备端选择所述最高分对应的音频。

优选地，所述播放所述对应的音频包括所述设备端连接音频流并同步加载和播放。

优选地，所述无遮挡卡片照片为无遮挡带有完整乐器图像的卡片照片；所述有遮挡卡片照片为有遮挡带有完整乐器图像的卡片照片。

本发明还提供了一种基于计算机视觉的乐器演奏装置，该装置包括：选择模块和播放模块；

所述选择模块，用于接收到拍摄的卡片照片后选择对应的音频；