[发明专利]一种基于ROI的实时视频多路并行传输码率控制方法

说明书

本发明涉及一种基于ROI的实时视频多路并行传输码率控制方法。通过YOLO对输入的YUV数据进行感兴趣区域检测提取，之后根据发送缓冲区充盈度和接收端反馈的各条链路状况，分别针对感兴趣区域和非感兴趣区域调整码率控制策略，编码后的视频码流通过分流策略分发到各条链路，最终由视频帧集成器合并复原，通过视频解码器解码播放。本发明即可以通过多路并行传输提升带宽，还可以针对感兴趣区域和非感兴趣区域设置合理不同QP，从而避免比特资源的浪费，有效提升主观直觉质量。

技术领域

本发明涉及一种基于ROI的实时视频多路并行传输码率控制方法。

背景技术

在异构网络下的多路视频并行传输过程中(见专利《一种基于多路并行传输技术的实时视频传输系统及其方法》)，为了克服链路带宽不足问题，移动终端同时使用LTE和WIFI链路进行视频数据的并行传输，有效提升了传输带宽，框架如图1所示。

从图1可以看出，视频流根据监控获取各个链路的带宽和时延参数动态调整视频编码的量化参数，即QP参数，并根据QP参数对视频进行编码。将编码后的视频流根据各路径的带宽、时延按照不同比权重分流至不同的传输链路同时进行视频传输。利用多路并行传输有效加大了传输带宽，缩短了视频传输的端到端延时，但其并未考虑人眼系统(HVS)对于感兴趣区域(ROI)和非感兴趣区域(N-ROI)的关注度差异，根据链路参数对一帧所有宏块无差异化设定QP,对于主观视觉质量而言就造成了比特资源的浪费。

发明内容

本发明的目的在于为解决在实时视频传输过程中即可利用多路并行传输技术进行提升传输带宽，又可提供符合人眼系统的更佳主观视觉质量，提供一种基于ROI的实时视频多路并行传输码率控制方法。

为实现上述目的，本发明的技术方案是：一种基于ROI的实时视频多路并行传输码率控制方法，通过YOLO对输入的YUV数据进行感兴趣区域检测提取，之后根据发送缓冲区充盈度和接收端反馈的各条链路状况，分别针对感兴趣区域和非感兴趣区域调整码率控制策略，编码后的视频码流通过分流策略分发到各条链路，最终由视频帧集成器合并复原，通过视频解码器解码播放。

在本发明一实施例中，该方法具体实现步骤如下：

步骤S1、采集视频帧原始数据，每帧图像按预设像素划分后依照光栅顺序排列，获得区域块坐标；

步骤S2、以YOLO作为目标检测框架，在COCO数据集上训练完成之后，读取视频YUV序列，将视频帧逐帧送进训练好的YOLO目标检测模型进行目标检测，获取每一帧视频的感兴趣区域的像素坐标；

步骤S3、实时探测获取多路并行传输LTE和WIFI链路带宽μ_n、往返时延RTT_n，根据“注水算法”作为帧号为k的视频帧分流策略以获取各条传输链路分配的数据大小分流后视频帧在LTE链路和WIFI链路上拥有相同的传输时延，该传输时延即“注水算法”中的“水线”其中k_left表示第k个帧推送到发送缓冲区前，当前端正在发送视频帧号；由及“注水算法”能够获得含ROI帧比特上界

步骤S4、根据监控反馈的发送缓冲区充盈度B，获得满足缓冲区不上溢的最大ROI帧比特大小L₂，L₂≤B；

步骤S5、比较L₁，L₂含ROI帧比特上界大小，共同决策含ROI帧比特资源上界L＝Min(L₁，L₂)；