[发明专利]音频数据可视化方法及装置有效
申请号: | 201611183228.4 | 申请日: | 2016-12-20 |
公开(公告)号: | CN106649703B | 公开(公告)日: | 2019-11-19 |
发明(设计)人: | 谢旭荣;王岚 | 申请(专利权)人: | 中国科学院深圳先进技术研究院 |
主分类号: | G06F16/783 | 分类号: | G06F16/783;G06F16/738 |
代理公司: | 44237 深圳中一专利商标事务所 | 代理人: | 阳开亮<国际申请>=<国际公布>=<进入 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音频 数据 可视化 方法 装置 | ||
本发明适用于信号处理技术领域,提供了一种音频数据可视化方法及装置,所述方法包括:接收音频数据并提取所述音频数据的声学特征;通过情感分类模型得出所述音频数据的与所述声学特征时序上对应的情感特征;通过模式特征生成模型生成所述音频数据的与所述情感特征时序上对应的模式特征;通过预设数据库获取与所述模式特征对应的预设可视化信息并展示,所述预设数据库中存储有多对一一对应的模式特征和预设可视化信息。上述方法可根据任意音频数据生成对应的模式特征并予以显示,而且相对于现有技术,音频数据与可视化信息之间具有更好的一致性和匹配度。
技术领域
本发明属于信号处理技术领域,尤其涉及一种音频数据可视化方法及装置。
背景技术
现有的部分音乐软件带有可视化功能,例如形状、图形、颜色等的变换。而这些变换都是根据能量简单地生成的,并不具有情感表达能力和娱乐性。类似的可视化地表达音乐情感的方法是根据音乐段落寻找相匹配的视频,或使用直接的音乐声学特征与视频特征的匹配。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:现有技术采用视频的搜索与匹配技术,即根据给定的音乐段落,在特定的视频数据库里找寻在时序上最匹配的视频。然而对于任意音乐段落,不一定能找出与之在时序上足够匹配的视频。同时,针对不同的特定模式,例如舞蹈、音乐喷泉、烟火等,视频寻找的方法更是没法满足匹配的一致性。
发明内容
有鉴于此,本发明实施例提供了一种音频数据可视化方法及装置,以解决现有技术中对于任一音频数据不能搜索出在时序上足够匹配的视频的问题。
本发明实施例的第一方面,提供了一种音频数据可视化方法,包括:
接收音频数据并提取所述音频数据的声学特征;
通过情感分类模型得出所述音频数据的与所述声学特征时序上对应的情感特征;
通过模式特征生成模型生成所述音频数据的与所述情感特征时序上对应的模式特征;
通过预设数据库获取与所述模式特征对应的预设可视化信息并展示,所述预设数据库中存储有多对一一对应的模式特征和预设可视化信息。
本发明实施例的第二方面,提供了一种音频数据可视化装置,包括:
声学特征提取模块,用于接收音频数据并提取所述音频数据的声学特征;
情感特征获取模块,用于通过情感分类模型得出与所述声学特征时序上对应的情感特征;
模式生成模块,用于通过模式特征生成模型生成与所述情感特征时序上对应的模式特征;
可视化模块,用于通过预设数据库获取与所述模式特征对应的预设可视化信息并展示;所述预设数据库中存储有多对一一对应的模式特征和预设可视化信息。
本发明实施例相对于现有技术所具有的有益效果:提取所述音频数据的声学特征,通过情感分类模型得出所述音频数据的与所述声学特征时序上对应的情感特征,通过模式特征生成模型生成所述音频数据的与所述情感特征时序上对应的模式特征,通过预设数据库获取与所述模式特征对应的预设可视化信息并展示,只需预先定义模式特征的组合,即可根据任意音频数据生成对应的模式特征并予以显示,而且声学特征、情感特征和模式特征之间在时序上相对应,因此相对于现有技术,音频数据与可视化信息之间具有更好的一致性和匹配度。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的音频数据可视化方法的流程图;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院深圳先进技术研究院,未经中国科学院深圳先进技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201611183228.4/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置