[发明专利]一种基于多音源分离的电子音乐分类方法及系统有效
申请号: | 202010310701.0 | 申请日: | 2020-04-20 |
公开(公告)号: | CN111488486B | 公开(公告)日: | 2021-08-17 |
发明(设计)人: | 荆晓远;訾璐;吴迪;孔晓辉 | 申请(专利权)人: | 武汉大学 |
主分类号: | G06F16/65 | 分类号: | G06F16/65;G06K9/62;G06N3/04;G10L19/02;G10L25/30 |
代理公司: | 武汉科皓知识产权代理事务所(特殊普通合伙) 42222 | 代理人: | 罗飞 |
地址: | 430072 湖*** | 国省代码: | 湖北;42 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 多音 分离 电子音乐 分类 方法 系统 | ||
1.一种基于多音源分离的电子音乐分类方法,其特征在于,包括:
S1:获取电子音乐文件,进行预处理和标记后形成训练数据;
S2:构建电子音乐分类模型,其中,电子音乐分类模型包括音源分离网络、时频域变换模块以及分类网络,其中,音源分离网络用于从输入的音乐文件中提取出N种音源,时频域变换模块用于根据分离出的N种音源文件与输入的音乐文件的原曲,通过短时傅里叶变换和谐波/冲击源分离技术,进行时频域转换生成频谱图矩阵,其中生成的频谱图矩阵用以存储音乐文件的音乐特征,分类网络包括卷积循环神经网络、全连接层以及Softmax函数,卷积循环神经网络用以从生成的频谱图矩阵中提取出局部信息和时序信息的特征表示;全连接层和Softmax函数用以根据卷积循环神经网络提取出的特征表示,输出音乐文件的类别;
S3:将训练数据输入至构建的电子音乐分类模型中,并采用随机梯度下降法进行训练,得到训练好的电子音乐分类模型;
S4:将待分类的电子音乐文件输入训练好的电子音乐分类模型中,得到分类结果;
其中,S2中的音源分离网络包括编码器、解码器以及双向长短期记忆网络BiLSTM,编码器包括多个编码层,解码器包括多个解码层,其中,编码器为Len层全卷积网络结构,原曲的波形序列输入每个编码层依次进行若干一维卷积核、ReLU激活函数和一个门控线性单元的计算,并输出至下一个编码层和对应的解码层,最后一个解码层的输出作为BiLSTM的输入;
解码器为Lde层全卷积网络结构,BiLSTM的循环输出作为第一个解码层的输入,依次进行若干一维卷积核、ReLU计算,并与对应编码层的高解析度特征拼接,再进行门控线性单元,若干一维反卷积核以及ReLU的计算,最终得到N种音源,其中,N为正整数。
2.如权利要求1所述的方法,其特征在于,S1中对获取的电子音乐文件进行预处理和标记,包括:
从获取的电子音乐文件中提取出多种音乐源,并标记音乐文件的类别,将原曲、多种音乐源以及类别组成的样本-标签对作为训练数据。
3.如权利要求1所述的方法,其特征在于,S2时频域变换模块通过短时傅里叶变换和谐波/冲击源分离技术,进行时频域转换生成频谱图矩阵,具体包括:
采用短时傅里叶变换将原曲和分离出的音源截取为较短的信号片段,再对短时平稳信号进行傅里叶变换,得到原曲的STFT频谱图和音源的STFT频谱图;
采用谐波/冲击源分离技术基于原曲的STFT频谱图和音源的STFT频谱图,分别生成原曲的谐波源频谱图和冲击源频谱图、音源的谐波源频谱图和冲击源频谱图;
将原曲的STFT频谱图、谐波源频谱图、冲击源频谱图以及音源的STFT频谱图、谐波源频谱图和冲击源频谱图,拼接成频谱图矩阵。
4.如权利要求1所述的方法,其特征在于,S2中的卷积循环神经网络CNN包括一个卷积神经网络和一个双向长短期记忆网络。
5.如权利要求1所述的方法,其特征在于,S3具体包括:
采用随机梯度下降法,同时最小化分离误差和分类误差,其中,分离误差为各音源的估计值与真实标签值之间的曼哈顿距离,分类误差为类别的预测值与真实值的交叉熵损失,进行分批训练。
6.如权利要求4所述的方法,其特征在于,S4具体包括:
S4.1:通过分离网络从将待分类的电子音乐文件中提取出多种音源;
S4.2:通过时频域转换模块根据提取出的多种音源和原曲生成频谱图矩阵;
S4.3:通过卷积循环神经网络从输入的频谱图矩阵中提取出局部信息和时序信息的特征表示;
S4.4:通过全连接层和Softmax函数基于局部信息和时序信息的特征表示,得到最终类别。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于武汉大学,未经武汉大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010310701.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于物联网并且具有收取快递功能的防盗门
- 下一篇:一种智慧环保系统及方法