[发明专利]音画同步方法及装置有效
申请号: | 202110331398.7 | 申请日: | 2021-03-26 |
公开(公告)号: | CN113038224B | 公开(公告)日: | 2023-03-24 |
发明(设计)人: | 周岭松;李晓明 | 申请(专利权)人: | 北京小米移动软件有限公司;北京小米松果电子有限公司 |
主分类号: | H04N21/43 | 分类号: | H04N21/43;H04N21/439;H04N21/442 |
代理公司: | 北京名华博信知识产权代理有限公司 11453 | 代理人: | 姜超 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 音画 同步 方法 装置 | ||
1.一种音画同步方法,其特征在于,应用于音频播放设备,所述音频播放设备与视频源设备通过网络连接,所述方法包括:
接收所述视频源设备发送的音频数据,所述音频数据包括多个音频采样点;
获取所述音频播放设备与所述视频源设备之间的网络延迟变化,其中,所述网络延迟变化指的是本次监测获取的网络延时和上一次监测获取的网络延时的时间差;
根据所述网络延迟变化确定待调整音频数据总量;
根据所述待调整音频数据总量和预设的调整策略,对接收到的所述音频数据增加音频采样点再播放或删除音频采样点再播放,以使得所述音频播放设备与所述视频源设备同步;
其中,所述调整策略包括:对接收到的所述音频数据在每隔单位时间增加或删除预设数量的音频采样点,直至调整的音频采样点的总量达到所述待调整音频数据总量。
2.根据权利要求1所述的音画同步方法,其特征在于,采用插值法对单位时间内的音频数据增加或删除预设数量的音频采样点。
3.根据权利要求1-2任一项所述的音画同步方法,其特征在于,所述获取所述音频播放设备与所述视频源设备之间的网络延迟变化,包括:
在预设的网络延迟监测时间到来时,获取当前时间对应的第一网络延迟时间;
根据所述第一网络延迟时间和上一次获取的第二网络延迟时间,得到所述网络延迟变化。
4.根据权利要求3所述的音画同步方法,其特征在于,所述在预设的网络延迟监测时间到来时,获取当前时间对应的第一网络延迟时间,包括:
在预设的网络延迟监测时间到来时,
向所述视频源设备发送第一时钟信息,所述第一时钟信息包含第一发送时间,所述第一发送时间用于表示所述音频播放设备发送所述第一时钟信息的时间;
接收所述视频源设备基于所述第一时钟信息所反馈的第二时钟信息,其中,所述第二时钟信息至少包括:第一接收时间和第二发送时间,其中,第一接收时间用于表示所述视频源设备接收到所述第一时钟信息的时间,所述第二发送时间用于表示所述视频源设备发送所述第二时钟信息的时间;
根据所述第一时钟信息和所述第二时钟信息,确定所述第一网络延迟时间。
5.根据权利要求4所述的音画同步方法,其特征在于,所述根据所述第一时钟信息和所述第二时钟信息,确定所述第一网络延迟时间,包括:根据以下算式确定所述第一网络延迟时间:
第一网络延迟时间=[(第一接收时间-第一发送时间)+(第二接收时间-第二发送时间)]/2。
6.根据权利要求3所述的音画同步方法,其特征在于,所述视频源设备发送的所述音频数据以报文包进行发送,每个报文包包括至少一个音频帧和所述音频帧对应的划分时间,每个音频帧包括预定数量的音频采样点;其中,所述划分时间指的是将所述音频数据划分成所述音频帧这一划分动作的发生时间。
7.根据权利要求6所述的音画同步方法,其特征在于,所述方法还包括:
在接收到每个音频帧后,根据每个音频帧的划分时间、预设的与所述视频源设备的约定时间以及所述第一网络延迟时间,确定播放所述音频帧的时间。
8.一种音画同步装置,其特征在于,包括:
音频数据接收模块,用于接收视频源设备发送的音频数据,所述音频数据包括多个音频采样点;
延迟变化获取模块,用于获取音频播放设备与所述视频源设备之间的网络延迟变化,其中,所述网络延迟变化指的是本次监测获取的网络延时和上一次监测获取的网络延时的时间差,所述音频播放设备与视频源设备通过网络连接;
调整音频数据量确定模块,用于根据所述网络延迟变化确定待调整音频数据总量;
调整同步播放模块,用于根据所述待调整音频数据总量和预设的调整策略,对接收到的所述音频数据增加音频采样点再播放或删除音频采样点再播放,以使得所述音频播放设备与所述视频源设备同步;
其中,所述调整策略包括:对接收到的所述音频数据在每隔单位时间增加或删除预设数量的音频采样点,直至调整的音频采样点的总量达到所述待调整音频数据总量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京小米移动软件有限公司;北京小米松果电子有限公司,未经北京小米移动软件有限公司;北京小米松果电子有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110331398.7/1.html,转载请声明来源钻瓜专利网。