[发明专利]音视频同步方法、装置、计算设备及存储介质有效
申请号: | 202210703399.4 | 申请日: | 2022-06-21 |
公开(公告)号: | CN115174960B | 公开(公告)日: | 2023-08-15 |
发明(设计)人: | 李立锋;谢韬 | 申请(专利权)人: | 咪咕文化科技有限公司;中国移动通信集团有限公司 |
主分类号: | H04N21/233 | 分类号: | H04N21/233;H04N21/234;H04N21/242;H04N21/43;H04N21/439;H04N21/44 |
代理公司: | 北京市浩天知识产权代理事务所(普通合伙) 11276 | 代理人: | 张颖瑛 |
地址: | 100032 北京市西城区德*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频 同步 方法 装置 计算 设备 存储 介质 | ||
1.一种音视频同步方法,其特征在于,包括:
获取用户终端视频在同步校验时间的第一进度,以及从同步校验时间对应的用户终端音频切片中提取音频特征码;
将所述第一进度以及所述音频特征码发送至服务端,以供所述服务端在服务端音频中查找与所述音频特征码匹配的第二进度,并计算所述第一进度与所述第二进度的第一进度差;
计算用户终端音频在同步校验时间的第三进度与所述第二进度的第二进度差;其中,通过对该用户终端音频切片的内容解析能够确定出该用户终端音频切片中音频特征码对应的音频帧与同步校验时间对应的音频帧之间的间隔,根据该间隔来确定出第三进度与第二进度的第二进度差;接收服务端发送的所述第一进度差,并根据所述第一进度差以及所述第二进度差确定用户终端音频与用户终端视频的播放时差,并利用所述播放时差进行用户终端音频与用户终端视频的同步处理。
2.根据权利要求1所述的方法,其特征在于,所述从同步校验时间对应的用户终端音频切片中提取音频特征码进一步包括:
将所述用户终端音频切片进行N进制化处理,以生成所述用户终端音频切片的N进制文件;
从所述N进制文件中提取出连续M个字符作为所述音频特征码;其中,所述音频特征码在所述N进制文件中具有唯一性。
3.根据权利要求2所述的方法,其特征在于,所述计算用户终端音频在同步校验时间的第三进度与所述第二进度的第二进度差进一步包括:
确定所述音频特征码在所述用户终端音频切片的N进制文件的第一位置,以及确定所述第三进度对应的所述用户终端音频切片的N进制文件的第二位置;
根据所述第一位置、所述第二位置以及所述用户终端音频切片的切片时长计算所述第二进度差。
4.根据权利要求1-3中任一项所述的方法,其特征在于,在所述利用所述播放时差进行用户终端音频与用户终端视频的同步处理之后,所述方法还包括:
从用户终端音频中提取目标指纹进度对应的音频指纹,以及从用户终端视频中提取目标指纹进度对应的视频指纹;
查找预先构建的指纹映射表;其中,所述指纹映射表中包含有音频指纹与视频指纹的映射关系,具有映射关系的音频指纹与视频指纹对应于同一指纹进度;
若基于所述指纹映射表确定出提取出的音频指纹与提取出的视频指纹具有映射关系,则确定所述播放时差准确;
若基于所述指纹映射表确定出提取出的音频指纹与提取出的视频指纹不具有映射关系,则向服务端发送播放时差不准确的信息,以供服务端重新查找与所述音频特征码匹配的第二进度。
5.根据权利要求1-3中任一项所述的方法,其特征在于,在所述利用所述播放时差进行用户终端音频与用户终端视频的同步处理之后,所述方法还包括:
从用户终端音频中提取目标指纹进度对应的音频指纹;
将提取出的音频指纹与预先从服务端获取到的目标指纹进度对应的音频指纹进行匹配;
若相匹配,则确定所述播放时差准确;
若不匹配,则向服务端发送播放时差不准确的信息,以供服务端重新查找与所述音频特征码匹配的第二进度。
6.一种音视频同步方法,其特征在于,包括:
接收用户终端发送的用户终端视频在同步校验时间的第一进度以及音频特征码;其中所述音频特征码为用户终端从同步校验时间对应的用户终端音频切片中提取;
在服务端音频中查找与所述音频特征码匹配的第二进度;
计算所述第一进度与所述第二进度的第一进度差,并将所述第一进度差发送至所述用户终端,以供所述用户终端根据所述第一进度差以及第二进度差确定用户终端音频与用户终端视频的播放时差,并利用所述播放时差进行用户终端音频与用户终端视频的同步处理;所述第二进度差为用户终端音频在同步校验时间的第三进度与所述第二进度的第二进度差;其中,通过对该用户终端音频切片的内容解析能够确定出该用户终端音频切片中音频特征码对应的音频帧与同步校验时间对应的音频帧之间的间隔,根据该间隔来确定出第三进度与第二进度的第二进度差。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于咪咕文化科技有限公司;中国移动通信集团有限公司,未经咪咕文化科技有限公司;中国移动通信集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210703399.4/1.html,转载请声明来源钻瓜专利网。