[发明专利]一种多媒体播放设置自动调节方法及系统有效
申请号: | 201911152466.2 | 申请日: | 2019-11-22 |
公开(公告)号: | CN111027675B | 公开(公告)日: | 2023-03-07 |
发明(设计)人: | 过洁;白晋斌;陈振宇;黄诗涵;胡育玮;郭延文 | 申请(专利权)人: | 南京大学 |
主分类号: | G06N3/048 | 分类号: | G06N3/048;G06N3/047;G06N3/08;G10L25/03;G10L25/24;G10L25/30;G10L25/51 |
代理公司: | 南京苏高专利商标事务所(普通合伙) 32204 | 代理人: | 冯艳芬 |
地址: | 210000 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 多媒体 播放 设置 自动 调节 方法 系统 | ||
1.一种多媒体播放设置自动调节方法,其特征在于包括:
当用户将多媒体端设置为自动识别场景变化时,多媒体端实时监测外界环境声音,按照预设时间间隔录制外界环境音频信息,并发送至服务器端;
当用户将多媒体端设置为自主录制时,在用户的自主操作下录制外界环境音频信息,并发送至服务器端;
服务器端从接收到的外界环境音频信息中分别提取左声道和右声道的梅尔倒谱系数和恒定Q色度图两种特征,并将两种特征结合后作为各声道的音频特征;
服务器端将左声道和右声道的音频特征输入训练好的深度神经网络中,得到外界环境音频信息对应的环境预测分类标签,并发送至多媒体端;
多媒体端判断接收到的环境预测分类标签是否与当前环境分类一致,若不一致,则从预设的环境分类与推荐播放设置表中查找与所述环境预测 分类标签对应的推荐播放设置,并按照查找到的推荐播放设置更新多媒体播放设备。
2.根据权利要求1所述的多媒体播放设置自动调节方法,其特征在于:所述深度神经网络的训练过程为:
获取多种外界环境的多个音频信息;
从外界环境音频信息中提取左声道和右声道的梅尔倒谱系数和恒定Q色度图,并将两者结合后作为各声道的音频特征;
建立深度神经网络,其中,建立的深度神经网络包括依次连接的音频输入层、第一卷积块、第一池化层、第二卷积块、第二池化层、第三卷积块、第三池化层、第四卷积块、全局平均池化层、全连接层和softmax层;
训练深度神经网络,训练时,将一个外界环境音频信息的左声道音频特征和右声道音频特征作为一个样本的两个维度分别输入所述音频输入层,在全连接层将左声道音频特征和右声道特征分别在全局平均池化层的输出进行综合,在softmax层根据全连接层的输出对样本所在的环境进行预测,之后根据softmax层输出的环境预测结果和样本实际所在环境按照预设损失函数计算损失并修正网络,完成训练;其中,损失函数为多分类的对数损失函数。
3.根据权利要求2所述的多媒体播放设置自动调节方法,其特征在于:所述第一卷积块、第二卷积块、第三卷积块和第四卷积块的结构都包括6层网络,分别为依次连接的第一0填充层、第一批归一化层、第一卷积层、第二0填充层、第二批归一化层和第二卷积层。
4.根据权利要求1或2所述的多媒体播放设置自动调节方法,其特征在于:对所述外界环境音频信息的各声道提取特征时,还提取了梅尔频谱图、波形频谱图、色度能力归一化、多项式特征中的任意一种或几种,在结合时,将提取的每个特征作为分别进行最大-最小归一化处理,并按照预设权重相加后形成音频特征。
5.根据权利要求1所述的多媒体播放设置自动调节方法,其特征在于:所述推荐播放设置具体包括推荐的音量设置、推荐的均衡器设置和推荐的当前环境适配音乐。
6.一种多媒体播放设置自动调节系统,其特征在于:包括多媒体端和服务器端,其中:
所述多媒体端包括:
第一音频录制模块,用于当用户将多媒体端设置为自动识别场景变化时,实时监测外界环境声音,按照预设时间间隔录制外界环境音频信息,并发送至服务器端;
第二音频录制模块,用于当用户将多媒体端设置为自主录制时,在用户的自主操作下录制外界环境音频信息,并发送至服务器端;以及
播放设置更新模块,用于判断接收到的环境预测分类标签是否与当前环境分类一致,若不一致,则从预设的环境分类与推荐播放设置表中查找与所述环境预测 分类标签对应的推荐播放设置,并按照查找到的推荐播放设置更新多媒体播放设备;
所述服务器端包括:
音频特征获取模块,用于从接收到的外界环境音频信息中分别提取左声道和右声道的梅尔倒谱系数和恒定Q色度图两种特征,并将两种特征结合后作为各声道的音频特征;以及
环境预测模块,用于将左声道和右声道的音频特征输入训练好的深度神经网络中,得到外界环境音频信息对应的环境预测分类标签,并发送至多媒体端。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学,未经南京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911152466.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种流水线式干洗设备
- 下一篇:一种微生物自修复混凝土裂缝修复情况观测方法