[发明专利]音视频同步续播的方法、装置、电子设备及存储介质

说明书

本发明公开了一种音视频同步续播的方法、装置、电子设备及存储介质，所述方法包括步骤：获取视音频调用及输出参数；依据所述视音频调用及输出参数，获取音视频数据包中数据帧的视频解码时间戳和音频解码时间戳；依据所述数据帧的视频解码时间戳和音频解码时间戳，获取所述音视频数据包中视频数据的发送速度，并控制所述音频数据的发送速度；依据所述音视频数据包中视频数据的发送速度，并控制所述音频数据的发送速度，获取通过加锁或丢帧或补帧或时间基转化方式实现视音频数据包同步。本申请能够实现轻量级导播，HTTP接口远程调度，直播异常状态自处理，无人工干预，支持不同帧率的视音频数据包，能够保持单路或多路视音频数据包的输出同步。

技术领域

本发明涉及音视频处理技术领域，尤其是一种音视频同步续播的方法、装置、电子设备及存储介质。

背景技术

现有的在线晚会视频直播，直播带货，线上教育等基于互联网的直播场景逐步成为新趋势，目前直播推流主要有摄像机推流、手机推流、大型导播台设备等导播软件推流。

现有技术的推流方式主要有以下几种：

一是单路推流，一般是基于FFmpeg的编码或设备硬编码，比如手机端推流，采集摄像头画面，采集麦克风音频，通过硬编码或软编码，将视频画面编码成h264码流，将音频pcm数据编码成aac码流数据，通过RTMP协议封包后基于tcp网络层发送数据包。对于成熟的直播推流，应该还支持编码动态码率自适应，网速监测，但是对于大型晚会，重要商务会议等需要多机位多场景直播无法满足；

二是使用专业设备推流或OBS等导播软件推流，比如OBS推流，支持windows，mac和linux等操作系统，但是这种方式需要直播专业知识的设置项比较多，对于完全不懂直播的新手来说不够友好，更主要是不支持自动切换备用应急路，不支持远程API操作，桌面软件运行，需要带图形化操作系统运行，需要人为控制。

因此，需要一种音视频同步续播的的方法，满足支持不同帧率输入源、单路或多路切换时保障视音频同步的需求。

发明内容

为此，本发明提供了一种音视频同步续播的方法、装置、电子设备及存储介质，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种音视频同步续播的方法，该方法通过将读取的视频流中视频和音频存入队列，控制解码的视频与音频时间戳同步，实现在视频发送时保持时间戳的一致性，并通过加锁或丢帧或补帧方式实现输出数据帧率相同，所述方法包括步骤：

获取视音频调用及输出参数，所述视音频调用及输出参数包括：视音频调用接口、封面图路径、预览推流地址、节目输出推流地址和主路输入源拉流地址；

依据所述视音频调用及输出参数，获取音视频数据包中数据帧的视频解码时间戳和音频解码时间戳；

依据所述数据帧的视频解码时间戳和音频解码时间戳，获取所述音视频数据包中视频数据的发送速度，并控制所述音频数据的发送速度；

依据所述音视频数据包中视频数据的发送速度，并控制所述音频数据的发送速度，获取在所述视音频数据中音频数据包与视频数据包发送帧率不同时通过加锁方式实现所述音频与视频发送帧率同步；

或者，多路所述视音频数据包调用帧率不同，通过丢帧或补帧方式实现输出帧率相同；

或者，所述视音频数据包调用帧率与输出帧率不同时，通过时间基转化方式实现视音频数据包正确输出。

在另一个实施例中，其中，所述获取视音频调用及输出参数的步骤包括：

获取用户事件通知库libevent服务器调用的视音频调用接口；

依据所述用户事件通知库libevent服务器调用的视音频调用接口，设置所述封面图路径、预览推流地址、节目输出推流地址和主路输入源拉流地址；