[发明专利]从视频生成同步的声音在审
| 申请号： | 202180007102.4 | 申请日： | 2021-01-11 |
| 公开（公告）号： | CN114787920A | 公开（公告）日： | 2022-07-22 |
| 发明（设计）人： | 张阳;淦创;王大阔 | 申请（专利权）人： | 国际商业机器公司 |
| 主分类号： | G10L25/57 | 分类号： | G10L25/57;G10L25/30 |
| 代理公司： | 中国贸促会专利商标事务所有限公司 11038 | 代理人： | 吴信刚 |
| 地址： | 美国*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本文的实施例描述了当训练机器学习(ML)系统时使用的音频转发正则化器和信息瓶颈。音频转发正则化器接收音频训练数据，并识别训练数据中的视觉不相关声音和视觉相关声音。通过控制信息瓶颈，音频转发正则化器将主要涉及视觉不相关声音的数据转发到生成器，同时滤除视觉相关声音。生成器还从视觉编码器接收关于视觉对象的数据，该数据是从视觉训练数据导出的。由此，当被训练时，生成器接收关于视觉对象的数据和关于视觉不相关声音的数据(但几乎没有或没有关于视觉相关声音的数据)。由此，在执行阶段期间，生成器可生成与视觉对象相关的声音，而不将视觉不相关声音添加到视频。 | ||
| 搜索关键词： | 视频 生成 同步 声音 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国际商业机器公司，未经国际商业机器公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202180007102.4/，转载请声明来源钻瓜专利网。
- 上一篇：电动压缩机、逆变器组装用夹具及逆变器制造方法
- 下一篇：手电筒
- 同类专利
- 在包括至少一个人工声源的环境中识别由真实声源产生的至少一种自然发出的声音的方法、相应装置、计算机程序产品和计算机可读载体介质-202080082027.3
- 亨克·海宁;菲利普·吉尔伯顿;艾瑞克·戈蒂埃 - 汤姆逊许可公司
- 2020-11-04 - 2022-07-22 - G10L25/57
- 本公开涉及一种用于识别至少一种自然发出的声音的方法，该声音由包括至少一个人工声源(ASSr)的环境中的真实声源产生。所述方法由音频识别设备实现，并且包括：同时获得(11)来自位于所述环境中的第一麦克风(MIC)的第一音频信号和来自与所述至少一个人工声源相关联的音频采集设备(AAD)的第二音频信号；分析(12)所述第一音频信号，传递与在所述第一音频信号中识别的声音相对应的声音类别的第一列表(L1)；分析(13)所述第二音频信号，传递与在所述第二音频信号中识别的声音相对应的声音类别的第二列表(L2)；传递(14)声音类别的第三列表(L3)，其仅包括：被包括在所述声音类别的第一列表(L1)中、但不被包括在所述声音类别的第二列表(L2)中的声音类别。
- 从视频生成同步的声音-202180007102.4
- 张阳;淦创;王大阔 - 国际商业机器公司
- 2021-01-11 - 2022-07-22 - G10L25/57
- 本文的实施例描述了当训练机器学习(ML)系统时使用的音频转发正则化器和信息瓶颈。音频转发正则化器接收音频训练数据，并识别训练数据中的视觉不相关声音和视觉相关声音。通过控制信息瓶颈，音频转发正则化器将主要涉及视觉不相关声音的数据转发到生成器，同时滤除视觉相关声音。生成器还从视觉编码器接收关于视觉对象的数据，该数据是从视觉训练数据导出的。由此，当被训练时，生成器接收关于视觉对象的数据和关于视觉不相关声音的数据(但几乎没有或没有关于视觉相关声音的数据)。由此，在执行阶段期间，生成器可生成与视觉对象相关的声音，而不将视觉不相关声音添加到视频。
- 声音处理装置、声音处理方法、程序及集成电路-201380001357.5
- 小沼知浩;上野山努 - 松下电器(美国)知识产权公司
- 2013-03-11 - 2017-03-01 - G10L25/57
- 本发明提供一种声音处理装置，根据AV内容的音频信号检测声音特征的变化点。为了解决上述问题，该声音处理装置具有特征计算单元，按照所输入的音频信号的预定时间长度的每个单位区间，计算表示所述音频信号的特征的区间特征；边界计算单元，对于多个所述单位区间中的每个单位区间，计算与包括该单位区间在内的由区间特征相似的多个所述单位区间构成的相似区间、和其它区间的边界相关的边界信息；以及判定单元，计算所述边界信息所表示的各个边界的优先度，根据所述优先度判定所述各个边界是否是场景变化点。
- 声音处理装置、方法、程序及集成电路-201280007609.0
- 小沼知浩;上野山努 - 松下电器产业株式会社
- 2012-11-08 - 2013-10-30 - G10L25/57
- 一种声音处理装置，具有：特征生成部，按照每个单位区间生成表现声音信号的单位区间的特征的区间特征；变化值计算部，按照所述声音信号的每个单位区间，将该单位区间作为基点区间，使用所述基点区间附近的多个单位区间的所述区间特征，计算将所述声音信号的特征在所述基点区间中的时间变化进行定量化得到的特征变化值；以及区间判定部，根据所述特征变化值与阈值的比较结果，判定所述基点区间是否是包含所述声音信号的特征的变化点的特征单位区间。由此，声音处理装置从AV内容等的声音信号中检测包括声音特征的变化点的特征单位区间。
- 专利分类
