[发明专利]基于注意力的音频和歌词的多模态音乐风格分类方法

说明书

本发明涉及音乐风格分类技术领域，涉及一种基于注意力的音频和歌词的多模态音乐风格分类方法，步骤如下：一、数据获取；二、音频预处理：先对音频数据采取Mel频谱特征提取，然后经过CNN网络得到音频特征；三、歌词预处理：先进行BERT预训练得到词向量，然后经过HAN网络得到歌词特征向量；四、attention模间融合：通过Attention模间融合，将获取的音频和歌词特征，进行交互融合获取融合的Attention注意力向量，再与音频和歌词特征向量拼接，获得包含音频和歌词各自模态特征，以及模态间融合特征的音乐风格特征；五、经过softmax层进行分类。本发明能较佳地对数据进行学习和分类。

技术领域

本发明涉及音乐风格分类技术领域，具体地说，涉及一种基于注意力的音频和歌词的多模态音乐风格分类方法。

背景技术

音乐风格分类是音乐信息检索和音乐推荐当中的重要一环。随着当今互联网技术和数字多媒体的飞速发展，对音乐风格分类效率的要求也越来越高。但是现在的音乐风格分类技术只用音频特征并不能完整的表示音乐风格，歌词包含的语义信息也部分代表这歌曲的风格，所以还需要将歌词内容考虑进去。而且融合音频和歌词两个方面的信息的技术较少，主要的问题就是对歌词的处理难度较大。一般的歌词处理方法，比如BOW(词袋)、Word2Vec(词向量)，都不能获取句子的上下文语义信息。但是对歌词来说，上下文的语义信息对音乐风格具有重要意义。对于音频和歌词融合技术来说，目前使用的是基于简单操作的融合，比如特征级别的拼接和决策级别的加权，这些操作只是相当于对子分类器进行了简单的集成，并没有真正做到音频和歌词信息的融合，对融合结果的提升较小。因此，基于音频和歌词的多模态音乐风格分类技术还有待提升。

发明内容

本发明的内容是提供一种基于注意力的音频和歌词的多模态音乐风格分类方法，其能够克服现有技术的某种或某些缺陷。

根据本发明的一种基于注意力的音频和歌词的多模态音乐风格分类方法，其包括以下步骤：

一、数据获取：获取音频和歌词对应的数据集；

二、音频预处理：先对音频数据采取Mel频谱特征提取，然后经过CNN网络进一步得到音频特征；

三、歌词预处理：先进行BERT预训练得到单词的词向量，然后经过HAN网络得到歌词特征向量；

四、attention模间融合：通过Attention模间融合，将获取的音频和歌词特征，进行交互融合获取融合的Attention注意力向量，再与音频和歌词特征向量拼接，获得包含音频和歌词各自模态特征，以及模态间融合特征的音乐风格特征；

五、经过softmax层进行分类。

作为优选，步骤一中，根据metrolyrics数据集中的歌手和歌名信息，检索并下载对应歌曲，实现批量下载；根据歌曲的编号将相应的歌词数据与歌曲的数据组合在一起，获取音频和歌词对应的数据集。

作为优选，步骤二中，Mel频谱特征提取的参数如下：

音频数据的采样率是22.5Hz，对音频信号以12Hz进行下采样；

帧长21ms；

短时傅里叶N_FFT＝512；

帧移HOP_LEN＝256；

梅尔尺度mel_scale＝125；

梅尔频谱数N_MELS＝96；

一首歌的音频特征大小是(96,1366)。

作为优选，步骤二中，CNN网络结构为：网络有5个3x3核的卷积层和4个池化层，然后接一个全连接层，输出张量维度为64，使每首歌的特征变成一个64维的向量。

作为优选，步骤三中，BERT预训练模型参数为：