[发明专利]一种基于虚拟偶像的歌曲数据处理方法及演唱交互系统

权利要求书

1.一种基于虚拟偶像的歌曲数据处理方法，其特征在于，该方法包括如下步骤：

扒谱步骤，获取多模态数据，从所述多模态数据中提取演唱歌曲音频，并将所述演唱歌曲音频转化为歌曲文件以进行词谱分离操作，生成与该歌曲文件对应的乐谱信息和歌词信息；

词曲编辑步骤，根据获取到的乐谱信息，通过已构建完成的乐曲风格识别模型，判断当前歌曲风格，根据获得的当前歌曲风格，调取与当前风格匹配的音乐处理模型，根据音乐处理模型对所述乐谱信息和所述歌词信息进行编辑处理，生成乐谱创作信息和歌词创作信息，所述乐谱创作信息包括乐谱片段数据，其中，所述乐谱片段数据配置有乐谱片段编码、乐谱片段起止时程、音调片段数据和小节标识；所述歌词创作信息包括歌词片段数据，其中，所述歌词片段数据配置有歌词片段编码、歌词片段起止时程、韵母标识、声母标识、声调编码、断句标识、韵母数据和声母数据；

语音合成步骤，基于当前歌曲风格，确定与当前歌曲风格匹配的声线，基于所述虚拟偶像的声线，将所述乐谱创作信息、所述歌词创作信息与歌曲风格匹配的声线以及背景音乐代入预设的语音合成系统中进行语音合成，生成目标曲目文件并输出；

表演形象生成步骤，接收与歌词片段数据的内容或代表该片段信息的代码相应的口型动画数据和随机选择的虚拟偶像的特定形象的信息，生成实时的针对与当前歌词片段内容对应的表演形象作为当前的成像控制信息；

同步输出步骤，将目标曲目文件、成像控制信息和针对当前片段的歌词片段编码和歌词片段起止时程进行整合使得成像控制信息的输出时间与目标曲目文件中的对应片段同时输出。

2.根据权利要求1所述的方法，其特征在于，在所述扒谱步骤中，进一步包括：

将获取到的所述演唱歌曲音频进行歌声分离，去除背景声音数据，保留人声清唱数据；

进一步分解所述人声清唱数据，编辑整理生成所述乐谱信息和所述歌词信息。

3.根据权利要求1所述的方法，其特征在于，所述音乐处理模型是通过基于字词拼音库、歌曲音符库、作词作曲数据库以及针对各种歌曲风格建立的结合多类作词作曲习惯特征数据库，采用机器学习方法训练出从基础数据到目标数据的映射关系来构建而成的。

4.一种基于虚拟偶像的歌曲数据处理系统，其特征在于，该系统包括如下模块：

扒谱模块，其获取多模态数据，从所述多模态数据中提取演唱歌曲音频，并将所述演唱歌曲音频转化为歌曲文件以词谱分离操作，生成与该歌曲文件对应的乐谱信息和歌词信息；

词曲编辑模块，其根据获取到的乐谱信息，通过已构建完成的乐曲风格识别模型，判断当前歌曲风格，根据获得的上述歌曲风格，调取与当前风格匹配的音乐处理模型，根据音乐处理模型对所述乐谱信息和所述歌词信息进行编辑处理，生成乐谱创作信息和歌词创作信息，所述乐谱创作信息包括乐谱片段数据，其中，所述乐谱片段数据配置有乐谱片段编码、乐谱片段起止时程、音调片段数据和小节标识；所述歌词创作信息包括歌词片段数据，其中，所述歌词片段数据配置有歌词片段编码、歌词片段起止时程、韵母标识、声母标识、声调编码、断句标识、韵母数据和声母数据；

语音合成模块，其基于当前歌曲风格，确定与所述歌曲风格匹配的声线，基于与所述虚拟偶像的声线，将所述乐谱创作信息、所述歌词创作信息与歌曲风格匹配的声线以及背景音乐代入预设的语音合成系统中进行语音合成，生成目标曲目文件并输出；

表演形象生成模块，其接收与歌词片段数据的内容或代表该片段信息的代码相应的口型动画数据和随机选择的虚拟偶像的特定形象的信息，生成实时的针对与当前歌词片段内容对应的表演形象作为当前的成像控制信息；

同步输出模块，其将目标曲目文件、成像控制信息和针对当前片段的歌词片段编码和歌词片段起止时程进行整合使得成像控制信息的输出时间与目标曲目文件中的对应片段同时输出。

5.根据权利要求4所述的系统，其特征在于，所述扒谱模块，其进一步包括：

歌声分离单元，其将获取到的所述演唱歌曲音频进行歌声分离，去除背景声音数据，保留人声清唱数据；

词曲分解单元，其进一步分解所述人声清唱数据，编辑整理生成所述乐谱信息和所述歌词信息。