[发明专利]多媒体数据的处理方法、装置及介质

说明书

本申请实施例涉及计算机技术领域和人工智能技术领域，公开了一种多媒体数据的处理方法、装置及介质。该方法包括：响应对多媒体数据的播放指令，获取多媒体数据中各帧图像对应的图像帧数据，各帧图像对应的图像帧数据包括各帧图像对应的音频段，以及各帧图像中各个像素点的透明度数据和颜色数据；对各帧图像中各个像素点的透明度数据和颜色数据进行渲染处理，得到各帧图像对应的渲染后的图像；将多帧图像对应的渲染后的图像与音频段进行合成处理，以对多媒体数据进行更新，得到更新后的多媒体数据；播放更新后的多媒体数据。采用本申请实施例能够实现多媒体数据在播放的过程中声音与画面一致且保持画面背景透明的效果，有利于提升用户体验。

技术领域

本申请涉及计算机技术领域，尤其涉及一种多媒体数据的处理方法、装置及介质。

背景技术

随着即时通讯技术的发展，越来越多的人开始通过发送一些如动画特效之类的多媒体数据去表达当下的情绪。常见的播放如动画特效之类的多媒体数据的方式主要有两种：第一种是采用定时器定时渲染每帧动画，从而实现播放图形交换格式(gif)等格式的动画特效；第二种是采用视频播放器播放传统的mp4格式的动画特效。其中，第一种方式在播放动画特效时无法播放声音，现有的解决方法是在播放动画特效时单独使用声音接口去播放声音，但仍然容易出现声音与画面的时间轨迹难以完美对齐的问题；第二种方式可以播放出有声音的动画特效，并且能解决声音与画面的时间轨迹难以完美对齐的问题，但是无法实现动画画面背景透明的效果，影响视觉体验。因此，现有的多媒体数据在播放的过程中无法实现在声音与画面同步的同时保持画面背景透明的效果。

发明内容

本申请实施例提供了一种多媒体数据的处理方法、装置及介质，可实现多媒体数据音画同步的同时保持画面背景透明的效果。

一方面，本申请实施例提供一种多媒体数据的处理方法，该方法包括：

响应对多媒体数据的播放指令，获取所述多媒体数据中各帧图像对应的图像帧数据，所述各帧图像对应的图像帧数据包括所述各帧图像对应的音频段，以及所述各帧图像中各个像素点的透明度数据和颜色数据，所述各帧图像对应的音频段指的是：与所述各帧图像在时间上对齐的音频段；

对所述各帧图像中各个像素点的透明度数据和颜色数据进行渲染处理，得到所述各帧图像对应的渲染后的图像；

将所述多帧图像对应的渲染后的图像与所述音频段进行合成处理，以对所述多媒体数据进行更新，得到更新后的多媒体数据；

播放所述更新后的多媒体数据。

在一个实施例中，还包括：获取图像数据以及所述图像数据对应的音频数据，所述图像数据包括所述各帧图像；在所述音频数据中确定所述各帧图像对应的音频段；将所述各帧图像和所述各帧图像对应的音频段进行合成处理，得到所述多媒体数据。

在一个实施例中，所述在所述音频数据中确定所述各帧图像对应的音频段，包括：对所述各帧图像的透明度数据和颜色数据进行数据分离处理，得到所述各帧图像中各个像素点的透明度数据和颜色数据；基于所述各帧图像中各个像素点的透明度数据和颜色数据，以及所述图像数据对应的音频数据，在所述音频数据中确定所述各帧图像对应的音频段。

在一个实施例中，所述在所述音频数据中确定所述各帧图像对应的音频段，包括：对所述各帧图像进行识别处理，得到所述各帧图像的一个或多个维度的图像特征；对所述一个或多个维度的图像特征进行分析处理，得到所述各帧图像对应的一个或多个维度的程度值；在所述音频数据中查找与所述一个或多个维度的程度值匹配的音频段，并将查找到的音频段作为所述各帧图像对应的音频段。