[发明专利]无缓存场景下补帧的方法、系统、补帧器和存储介质

说明书

本申请涉及一种无缓存场景下补帧的方法、系统、补帧器和存储介质，通过获取到当前媒体帧，则开启定时器；若定时时间到之前获取到下一媒体帧，则重启定时器；若定时时间到之前获取不到下一媒体帧，则触发补帧，以当前媒体帧作为补帧起点，根据预设补帧间隔和预设补帧长度进行补帧，直到检测到补帧结束点，结束补帧，其中，补帧结束点为获取到下一媒体帧，相比于相关技术中的定时检测方式，本申请每读取一帧媒体帧都进行检测，对于补帧起点的检测更为准确，且能在无媒体帧缓存场景下实时检测补帧起始点，实时性好，解决了相关技术中通过缓存一定的媒体帧，并基于定时检测的方式进行补帧，延迟大、准确度较低的问题。

技术领域

本申请涉及音视频技术领域，特别是涉及无缓存场景下补帧的方法、系统、补帧器和存储介质。

背景技术

在直播场景下，媒体流在某些场景下会出现断续，例如，采集端设备移除或音频/视频通道切换，导致推流出去后播放器端播放，会产生噪声以及音画不同步的现象。在相关技术中，可以通过补帧解决上述问题，但相关技术中的补帧需要先缓存一定的媒体帧，并定时检测分析媒体帧是否有缺失来确定是否进行补帧，然而缓存一定的媒体帧再进行分析，会带来一定的时间延迟，且定时检测对补帧起点的检测不是很准确。

目前针对相关技术中通过缓存一定的媒体帧，并基于定时检测的方式进行补帧，延迟大、准确度较低的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种无缓存场景下补帧的方法、系统、补帧器和存储介质，以至少解决相关技术中通过缓存一定的媒体帧，并基于定时检测的方式进行补帧，延迟大、准确度较低的问题。

第一方面，本申请实施例提供了一种无缓存场景下补帧的方法，所述方法包括：

获取到当前媒体帧，则开启定时器，其中，所述媒体帧包括音频帧和视频帧；

若定时时间到之前获取到下一媒体帧，则重启定时器；

若定时时间到之前获取不到下一媒体帧，则触发补帧，以当前媒体帧作为补帧起点，根据预设补帧间隔和预设补帧长度进行补帧，直到检测到补帧结束点，结束补帧，其中，所述补帧结束点为获取到下一媒体帧。

在其中一些实施例中，若定时时间到之前获取不到下一媒体帧，以定时时间结束点作为补帧触发点，则所述方法还包括：

基于所述补帧触发点进行前向补帧和后向补帧；

所述前向补帧包括：根据所述定时时间和所述预设补帧间隔获取补帧数，根据补帧数和所述预设补帧长度在当前媒体帧和补帧触发点之间进行补帧；

所述后向补帧包括：从所述补帧触发点开始，根据所述预设补帧间隔和所述预设补帧长度进行周期性补帧，直到检测到补帧结束点，结束补帧。

在其中一些实施例中，所述预设补帧间隔包括标准媒体帧间隔或M帧媒体帧时间间隔的平均值，所述预设补帧长度为N帧媒体帧长度的平均值，其中，M和N为2以上的正整数。

在其中一些实施例中，所述获取到媒体帧之后，所述方法还包括：

根据当前媒体帧长度和当前媒体帧与上一媒体帧的时间间隔，更新补帧参数，其中，所述补帧参数包括M帧媒体帧时间间隔的平均值和N帧媒体帧长度的平均值，其中，M和N为2以上的正整数。

在其中一些实施例中，所述定时时间为预设值倍的标准媒体帧间隔。

第二方面，本申请实施例提供了一种无缓存场景下音频补帧的系统，所述系统包括获取模块、重启模块和补帧模块，

所述获取模块，用于获取到当前媒体帧，则开启定时器，其中，所述媒体帧包括音频帧和视频帧；

若定时时间到之前获取到下一媒体帧，则开启所述重启模块，用于重启定时器；