[发明专利]一种基于并行处理的流媒体音视频同步播放方法

说明书

技术领域

本发明涉及流媒体音视频图像处理领域，特别涉及一种流媒体音视频的播放方法。 

背景技术

目前主流的视频编解码标准有MJPEG（即Motion JPEG，一种视频压缩格式，其中每一帧图像都分别使用JPEG编码，也可简称为MJPE）、H264等都是采用传统的混合编码结构，该结构采用时间和空间预测、变换、量化和熵编码方法，将视频帧编码设为不同的帧类型：I帧、B帧、P帧，这必将引起视频解码速度因帧类型不同而有所不同，而视频的渲染帧率是固定的，从而产生了视频解码速度与渲染速度不匹配的现象。

由于音视频流要求同步播放，而音频和视频数据是异步解码和输出的，如果不采用同步输出控制机制，必将导致音视频播放不同步的现象。

发明内容

本发明的目的是针对目前流媒体音视频播放过程中存在的解码速度和渲染速度不匹配和/或音视频播放不同步问题，提供一种基于并行处理的流媒体视频同步播放方法。

为了实现本发明的目的，采用如下技术方案：

一种基于并行处理的流媒体音视频同步播放方法，在时间上或空间上并行处理音视频获取、音视频拆分、视频解码、音频解码、时间戳误差分析、视频渲染和音频播放步骤，所述的时间戳误差是视频解码时间戳和音频解码时间戳之间的音视时间戳误差。

所述音视频获取步骤之前构建缓冲区空间，所述缓冲区空间包括音视频混合缓冲区队列                                               、视频解码缓冲区队列、音频解码缓冲区队列、视频渲染缓冲区队列、视频解码时间戳缓冲区队列、音频播放缓冲区队列、音频解码时间戳缓冲区队列、音视频误差时间戳缓冲区队列。

所述音视频获取步骤将从流媒体源获取到的音视频混合数据包依次插入预先构建的音视频混合缓冲区队列。

所述音视频拆分步骤从音视频混合缓冲区队列依次取出音视频混合数据包，利用音视频拆分算法对音视频混合数据包进行音视频拆分，提取视频流、音视流、拆分后时间戳；将视频流与时间戳组成视频解码节点插入预先构建的视频解码缓冲区队列；将音频流与时间戳组成音频解码节点插入预先构建的音频解码缓冲区队列。

所述视频解码步骤从视频解码缓冲区队列依次取出视频解码节点，对节点中视频流进行解码，获取解码后的视频流、视频解码时间戳；将视频流与拆分后时间戳组成视频渲染节点插入预先构建的视频渲染缓冲区队列；将视频解码时间戳和拆分后时间戳组成视频解码时间戳节点插入预先构建的视频解码时间戳缓冲区队列。

所述音频解码步骤从音频解码缓冲区队列依次取出音频解码节点，对节点中音频流进行解码，获取解码后的音频流、音频解码时间戳；将音频流与拆分后时间戳组成音频播放节点插入预先构建的音频播放缓冲区队列；将音频解码时间戳和拆分后时间戳组成音频解码时间戳节点插入预先构建的音频解码时间戳缓冲区队列。

所述时间戳误差分析步骤以拆分后时间戳为关键字在视频解码缓冲区队列查找视频解码时间戳对应节点信息；再以拆分后时间戳为关键字在音频解码缓冲区队列查找音频解码时间戳对应节点信息；通过视频解码时间戳和音频解码时间戳得到音视误差时间戳 =  - ；将音视误差时间戳与拆分后时间戳组成音视频误差时间戳节点插入预先构建的音视频误差时间戳缓冲区队列。

所述视频渲染步骤依次从视频解码缓冲区队列取出视频渲染节点，获取视频流和拆分后时间戳；再根据拆分后时间戳从音视频误差时间戳缓冲区队列取出音视误差时间戳节点，获取音视频误差时间；判断音视频误差时间>0是否成立，如果成立则立即播放，否则就等待再播放。

所述音频播放步骤依次从音频解码缓冲区队列取出音频播放节点，获取音频流和拆分后时间戳；再根据拆分后时间戳从音视频误差时间戳缓冲区队列取出音视误差时间戳节点，获取音视频误差时间；判断音视频误差时间>0是否成立，如果成立则等待再播放，否则就立即播放。