[发明专利]增强现实特效的渲染方法、装置、介质及设备

权利要求书

1.一种增强现实特效的渲染方法，其特征在于，应用于具有显示界面的终端设备，包括：

获取主播直播视频流，根据所述直播视频流识别得到主播的人体特征数据，同时提取视频流画面参数；

基于所述人体特征数据和触发增强现实特效时产生的特效数据，得到触发场景数据，其中，所述特效数据至少包括特效类型和特效触发时间；

根据所述触发场景数据和所述人体特征数据，预测所述增强现实特效在所述直播视频流中的渲染位置；

根据所述人体特征数据、所述视频流画面参数和所述渲染位置，在所述显示界面上渲染增强现实特效。

2.根据权利要求1所述的方法，其特征在于，所述根据所述触发场景数据和所述人体特征数据，预测所述增强现实特效在所述直播视频流中的渲染位置，包括：

将所述触发场景数据和所述人体特征数据输入预设算法，得到所述增强现实特效的预测渲染位置权值，根据所述权值确定在所述直播视频流中的渲染位置。

3.根据权利要求2所述的方法，其特征在于，在将所述触发场景数据和所述人体特征数据输入预设算法，得到所述增强现实特效的预测渲染位置权值步骤之后，还包括：

根据所述特效类型，对所述预测渲染位置权值进行调节。

4.根据权利要求1所述的方法，其特征在于，所述获取主播直播视频流，根据所述直播视频流识别得到主播的人体特征数据，同时提取视频流画面参数，包括：

对直播视频流画面进行人脸识别和人体识别，得到人体特征数据包括人脸数据和遮罩数据，读取所述直播视频流得到视频流画面参数。

5.根据权利要求2所述的方法，其特征在于，所述将所述触发场景数据和所述人体特征数据输入预设算法，得到所述增强现实特效的预测渲染位置权值，包括：

将触发增强现实特征时的触发场景数据和人体特征数据输入评价函数，计算对应的预测渲染位置权值；

通过强化学习算法更新所述预测渲染位置权值，输出所述更新后的预测渲染位置权值。

6.根据权利要求1所述的方法，其特征在于，在所述根据所述人体特征数据、所述视频流画面参数和所述渲染位置，在所述显示界面上渲染增强现实特效步骤之后，还包括：

将所述人体特征数据、所述视频流画面参数和所述渲染位置作为特效渲染数据，将所述特效渲染数据作为数据帧，和所述直播视频流中的音频帧、视频帧一起写入流媒体文件；

发送所述流媒体文件到服务器，观众端通过所述服务器接收所述流媒体文件后播放直播视频并渲染增强现实特效。

7.根据权利要求6所述的方法，其特征在于，所述观众端通过所述服务器接收所述流媒体文件后播放直播视频并渲染增强现实特效，包括：

解码所述流媒体文件，获取音频帧、视频帧和数据帧；

根据所述视频帧获取主播直播视频画面，识别所述主播直播视频画面得到直播场景数据；

基于所述直播场景数据和所述特效类型，预测所述增强现实特效在观众端的渲染位置，其中，所述特效类型从所述数据帧提取；

根据所述音频帧、视频帧在所述显示界面上播放直播视频，在所述观众端的渲染位置进行增强现实特效的渲染。

8.根据权利要求7所述的方法，其特征在于，在所述根据所述音频帧、视频帧在所述显示界面上播放直播视频，在所述观众端的渲染位置进行增强现实特效的渲染步骤之后，还包括：

根据所述观众端的播放设置参数和所述视频流画面参数，生成新的视图和投影矩阵，应用新的视图和投影矩阵修正特效渲染位置，其中，所述视频流画面参数从所述数据帧提取。