[发明专利]一种基于视线追踪技术的VR视频直播交互方法与装置

摘要

本发明提供一种基于视线追踪技术的VR视频直播交互方法及装置，涉及视线交互技术、语音交互技术与VR视频压缩编码技术领域，通过眼球追踪技术判断人眼注视点，就可以在画面压缩编码过程中以高分辨率传输注视点区域，即感兴趣区域(ROI，region of interest)，这样既保证了看到的画面足够清晰，又大幅度降低了传输的数据量，从而降低VR设备对硬件的要求。同时利用语音识别技术，可随时切换控制方式，增加了交互方式的多样性。

主权项

一种基于视线追踪技术的VR视频直播交互方法，其特征在于，包括如下步骤：S1：VR视频预处理S11：利用多个相机得到多路视频源，对多路视频源进行拼接后得到融合后的球形VR视频；S12：对球形VR视频进行一次编码处理；S2：VR视频深度处理S21：一次解码重新得到球形VR视频；S22：对球形VR视频进行映射处理得到平面VR视频；S23：根据终端反馈的控制信号对平面VR视频进行ROI处理；S24：进行ROI处理后的平面VR视频进行二次编码处理，得到VR视频流；S3：再将VR视频传输到终端，终端对VR视频流进行二次解码后，将平面VR视频反映射成球形视频，在显示设备中对球形视频进行播放；播放过程中，终端根据用户注视点的变化即视线追踪技术向用于进行ROI处理的模块发送控制信息；S4：重复S23、S3、S4步骤直到VR视频直播结束；S23中，ROI处理过程中根据终端发送的控制信息来控制平面VR视频的ROI区域，从而即时更新显示设备的数据；在上述过程中，仅在第一次进行S2、S3、S4步骤时，S2中不含S23，S21后直接进入S24。