[发明专利]一种媒体信息的处理方法及装置

说明书

本发明实施例公开了一种媒体信息的处理方法和装置。所述方法包括：得到媒体数据，所述媒体数据包括指示信息和至少一帧的图像数据，所述指示信息用于指示图像中的像素对应的预测像素是否越过了预设方向的边界；所述预设方向包括下列方向中的至少之一：上方，下方，左方或右方；根据所述指示信息解码所述至少一帧的图像数据。根据本发明实施例的媒体信息的处理方法和装置，使得对多个子码流进行拼接成为可能，对所需码流进行拼接后解码，仅需要单个解码器就能实现多个子图像序列的解码。

技术领域

本发明涉及流媒体传输技术领域，尤其涉及一种媒体信息的处理方法及装置。

背景技术

当前随着360度视频等VR视频的观看应用的日益普及，越来越多的用户加入到大视角的VR视频观看的体验队伍中。这种新的视频观看应用给用户带来了新的视频观看模式和视觉体验的同时，也带来了新的技术挑战。由于360度(本发明实施例将以360度为例进行说明)等大视角的视频观看过程中，VR视频的空间区域(空间区域也可以叫做空间对象)为360度的全景空间(或称全方位空间，或称全景空间对象)，超过了人眼正常的视觉范围，因此，用户在观看视频的过程中随时都会变换观看的角度(即视角，FOV)。用户观看的视角不同，看到的视频图像也将不同，故此视频呈现的内容需要随着用户的视角变化而变化。

当前的视频应用场景中，特别是在当前360度全景视频应用以及多路视频应用中，有时用户仅对整幅图像的一部分图像感兴趣。这种情况下，客户端并不需要将所有图像区域都进行显示，只需要获取全图像中的一部分图像在客户端进行显示渲染。比如在360度全景视频数据的某些应用中，用户在观看其某个视角对应的图像时，视频中其他区域的图像对于用户来说就是不需要进行渲染呈现的；又如在多路视频的应用场景中，视频画面由多个图像拼接而成，当用户仅对某个图像或者某些图像感兴趣时，其他图像就是不需要显示的。对于这种应用场景，一种实现方式是，在服务器端针对每个子图像序列(针对360度全景视频，先将整幅图像划分为各个子图像)分别进行编码，然后根据客户端的行为，将所需子图像序列的码流传到客户端，接着对子图像码流分别解码，并将解码后的图像进行拼接呈现。

现有技术的一种基于子图像编码的实现方案中，在编码端，将完整的图像切割成N个子图像，使用多个处理器或多个处理器内核将这N个子图像并行实时编码，并将所述N个子图像的编码结果和表示该N个子图像相对位置关系的信息封装在一起；在解码端，对包含N个子图像的封装数据进行解封装，该封装数据中包括表示该N个子图像相对位置关系的信息，然后用多个处理器或多个处理器内核将所述N个子图像进行并行实时解码，最后将N个子图像的解码结果重新拼接成一个完整图像。整个过程如图1所示。该技术需要在解码端使用多路解码器并行解码，解码资源需求较高。

发明内容

本发明实施例提供了一种媒体信息的处理方法及装置，在码流中添加了图像编码的预测参考像素是否越界的信息，使得对多个码流进行拼接成为可能。对所需码流进行拼接后解码，仅需要单个解码器就能实现多个图像序列的解码，避免了现有方案中针对多个码流使用多个解码器解码的资源浪费问题。

在本发明第一方面的实施例中，公开了一种媒体信息的处理方法，所述方法包括：

得到媒体数据，所述媒体数据包括指示信息和至少一帧的图像数据，所述指示信息用于指示图像中的像素对应的预测像素是否越过了预设方向的边界；

所述预设方向包括下列方向中的至少之一：

上方，下方，左方或右方；

根据所述指示信息解码所述至少一帧的图像数据。

本发明方法实施例的执行主体可以是可穿戴式设备(例如AR/VR头盔，AR/VR眼镜等)，服务器，智能终端(例如手机，平板电脑等)，电视，机顶盒等具有视频或图像解码功能的设备。