[发明专利]一种实时视频处理方法及装置

说明书

本发明提供一种实时视频处理方法及装置，该方法包括：发送端采集当前视频帧；检测当前是否存在触发控制事件；若存在，获取触发控制事件对应的控制信令，将控制信令插入当前视频帧，传输插入后的当前视频帧给接收端；若不存在，直接传输当前视频帧给接收端。接收端接收发送端传输的当前视频帧；确定当前视频帧是否包含控制信令；如果是，根据控制信令播放当前视频帧；如果否，直接播放当前视频帧。本发明中发送端将控制信令插入视频帧中，使控制信令同视频帧同时到达接收端。在接收端实现视频渲染与控制信令同步。控制信令由用户主动触发的触发控制事件触发，增加发送端与接收端双方用户的交互手段，提高了实时视频中用户的参与度及体验度。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种实时视频处理方法及装置。

背景技术

目前，在监控系统及即时通讯等各个应用领域中都需要进行实时视频的传输，发送端在传输实时视频的同时还需要传输控制信令，以使接收端根据控制信令处理实时视频。

当前，相关技术中传输实时视频时，视频流与控制信令是在不同通道分别进行传输的。通过不同通道传输很难确保视频流与其对应的控制信令同时到达接收端。为了实现视频流与控制信令的同步，相关技术中添加了缓冲区，并进行时间戳同步，但在实时视频交互场景下，会造成更高的时间延迟。而且基于UDP(User Datagram Protocol，用户数据报协议)传输视频流及控制信令时，必然存在丢包现象，为了保证视频流与其对应的控制信令均能到达接收端，也会相应的增加程序设计以及实现的复杂度。

发明内容

有鉴于此，本发明实施例的目的在于提供一种实时视频处理方法及装置，以解决现有技术中视频流与控制信令在不同通道分别传输，导致视频流与控制信令不同步的问题。

第一方面，本发明实施例提供了一种实时视频处理方法，所述方法包括：

采集当前视频帧；

检测当前是否存在触发控制事件；

若检测到触发控制事件，则获取所述触发控制事件对应的控制信令，将所述控制信令插入所述当前视频帧中，传输插入操作后的所述当前视频帧给接收端；

若未检测到触发控制事件，则直接传输所述当前视频帧给接收端。

结合第一方面，本发明实施例提供了上述第一方面的第一种可能的实现方式，其中，所述将所述控制信令插入所述当前视频帧中，包括：

解析所述当前视频帧，从所述当前视频帧中定位出补充增强信息单元SEI；

将所述控制信令插入所述SEI中。

结合第一方面，本发明实施例提供了上述第一方面的第二种可能的实现方式，其中，所述触发控制事件为预设用户行为；所述检测当前是否存在触发控制事件，包括：

识别所述当前视频帧包含的用户图像；

提取所述用户图像的图像特征；

根据所述图像特征，确定所述用户图像中是否存在预设用户行为；

如果是，则确定当前存在触发控制事件；如果否，则确定当前不存在触发控制事件。

结合第一方面，本发明实施例提供了上述第一方面的第三种可能的实现方式，其中，所述触发控制事件为存在响度大于预设分贝阈值的声音；所述检测当前是否存在触发控制事件，包括：

采集所述当前视频帧的同时，录制所述当前视频帧对应的音频文件；

判断所述音频文件包含的声音的响度是否大于所述预设分贝阈值；

如果是，则确定当前存在触发控制事件；如果否，则确定当前不存在触发控制事件。