[发明专利]一种实时视频处理方法及装置

摘要

本发明提供一种实时视频处理方法及装置，该方法包括：发送端采集当前视频帧；检测当前是否存在触发控制事件；若存在，获取触发控制事件对应的控制信令，将控制信令插入当前视频帧，传输插入后的当前视频帧给接收端；若不存在，直接传输当前视频帧给接收端。接收端接收发送端传输的当前视频帧；确定当前视频帧是否包含控制信令；如果是，根据控制信令播放当前视频帧；如果否，直接播放当前视频帧。本发明中发送端将控制信令插入视频帧中，使控制信令同视频帧同时到达接收端。在接收端实现视频渲染与控制信令同步。控制信令由用户主动触发的触发控制事件触发，增加发送端与接收端双方用户的交互手段，提高了实时视频中用户的参与度及体验度。 1

主权项

1.一种实时视频处理方法，其特征在于，所述方法包括：

采集当前视频帧；

检测当前是否存在触发控制事件；

若检测到触发控制事件，则获取所述触发控制事件对应的控制信令，将所述控制信令插入所述当前视频帧中，传输插入操作后的所述当前视频帧给接收端；

若未检测到触发控制事件，则直接传输所述当前视频帧给接收端。

2.根据权利要求1所述的方法，其特征在于，所述将所述控制信令插入所述当前视频帧中，包括：

解析所述当前视频帧，从所述当前视频帧中定位出补充增强信息单元SEI；

将所述控制信令插入所述SEI中。

3.根据权利要求1所述的方法，其特征在于，所述触发控制事件为预设用户行为；所述检测当前是否存在触发控制事件，包括：

识别所述当前视频帧包含的用户图像；

提取所述用户图像的图像特征；

根据所述图像特征，确定所述用户图像中是否存在预设用户行为；

如果是，则确定当前存在触发控制事件；如果否，则确定当前不存在触发控制事件。

4.根据权利要求1所述的方法，其特征在于，所述触发控制事件为存在响度大于预设分贝阈值的声音；所述检测当前是否存在触发控制事件，包括：

采集所述当前视频帧的同时，录制所述当前视频帧对应的音频文件；

判断所述音频文件包含的声音的响度是否大于所述预设分贝阈值；

如果是，则确定当前存在触发控制事件；如果否，则确定当前不存在触发控制事件。

5.一种实时视频处理方法，其特征在于，所述方法包括：

接收发送端传输的当前视频帧；

确定所述当前视频帧是否包含控制信令；

如果是，则根据所述控制信令播放所述当前视频帧；

如果否，则直接播放所述当前视频帧。

6.根据权利要求5所述的方法，其特征在于，所述确定所述当前视频帧是否包含控制信令，包括：

解析所述当前视频帧，从所述当前视频帧中定位出SEI；

查看所述SEI中是否包含控制信令。

7.根据权利要求5所述的方法，其特征在于，所述根据所述控制信令播放所述当前视频帧，包括：

确定所述控制信令对应的操作指令；

在播放所述当前视频帧的同时执行所述操作指令。

8.一种实时视频处理装置，其特征在于，所述装置包括：

采集模块，用于采集当前视频帧；

检测模块，用于检测当前是否存在触发控制事件；

插入模块，用于当所述检测模块检测到触发控制事件时，获取所述触发控制事件对应的控制信令，将所述控制信令插入所述当前视频帧中；

传输模块，用于传输插入操作后的所述当前视频帧给接收端；所述传输模块还用于当所述检测模块未检测到触发控制事件时，直接传输所述当前视频帧给接收端。

9.根据权利要求8所述的装置，其特征在于，所述插入模块包括：

定位单元，用于解析所述当前视频帧，从所述当前视频帧中定位出补充增强信息单元SEI；

插入单元，用于将所述控制信令插入所述SEI中。

10.一种实时视频处理装置，其特征在于，所述装置包括：

接收模块，用于接收发送端传输的当前视频帧；

确定模块，用于确定所述当前视频帧是否包含控制信令；

播放模块，用于当所述确定模块确定所述当前视频帧包含控制信令时，根据所述控制信令播放所述当前视频帧；以及，用于当所述确定模块确定所述当前视频帧不包含控制信令时，直接播放所述当前视频帧。