[发明专利]多媒体数据的处理方法及装置

说明书

本发明公开了一种多媒体数据的处理方法及装置。其中，该方法包括：从一个或多个多媒体数据产生设备处获取多媒体数据，得到一路或多路目标多媒体数据；从预定的一组解码插件中选择一个或多个解码插件；使用一个或多个解码插件对一路或多路目标多媒体数据中的对应的每一路目标多媒体数据进行解码，得到一路或多路解码数据；将一路或多路解码数据中的每一路解码数据存入共享内存中对应的存储区域；在深度学习计算服务被请求的情况下，从共享内存中与深度学习计算服务对应的存储区域中获取一路或多路解码数据；对一路或多路解码数据执行深度学习计算服务对应的目标深度学习计算处理。本发明解决了多媒体数据的处理效率较低的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种多媒体数据的处理方法及装置。

背景技术

相关技术中DeepStream技术实现了从摄像头/磁盘上获取视频流，并进行加速的深度学习前向的一套框架，整体基于GStreamer的流处理pipeline来完成。其中视频解码依赖了GPU解码模块，深度学习前向加速依赖了TensorRT加速引擎。但是，现有DeepStream技术存在下列缺点：首先，其仅适配指定型号的GPU设备，其他平台无法使用，导致通用性较差。此外，在使用官方插件时比较简单，但是需要自定义实现一些功能时开发门槛高(需要基于GStreamer使用的C语言GObject编程模型开发)，导致易用性较差。从而能够看出，相关技术中多媒体数据的处理效率较低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种多媒体数据的处理方法及装置，以至少解决多媒体数据的处理效率较低的技术问题。

根据本发明实施例的一个方面，提供了一种多媒体数据的处理方法，包括：从一个或多个多媒体数据产生设备处获取多媒体数据，得到一路或多路目标多媒体数据；

从预定的一组解码插件中选择一个或多个解码插件，其中所述一个或多个解码插件中的每一个与所述一路或多路目标多媒体数据中的每一路对应；使用所述一个或多个解码插件对所述一路或多路目标多媒体数据中的对应的每一路目标多媒体数据进行解码，得到一路或多路解码数据；

将所述一路或多路解码数据中的每一路解码数据存入共享内存中对应的存储区域，其中，所述共享内存中的存储区域与深度学习计算服务对应；

在所述深度学习计算服务被请求的情况下，从所述共享内存中与所述深度学习计算服务对应的存储区域中获取所述一路或多路解码数据；

对所述一路或多路解码数据执行所述深度学习计算服务对应的目标深度学习计算处理。

根据本发明实施例的另一方面，还提供了一种多媒体数据的处理装置，包括：

第一获取模块，用于从一个或多个多媒体数据产生设备处获取多媒体数据，得到一路或多路目标多媒体数据；

解码模块，用于从预定的一组解码插件中选择一个或多个解码插件，其中所述一个或多个解码插件中的每一个与所述一路或多路目标多媒体数据中的每一路对应；使用所述一个或多个解码插件对所述一路或多路目标多媒体数据中的对应的每一路目标多媒体数据进行解码，得到一路或多路解码数据；

存储模块，用于将所述一路或多路解码数据中的每一路解码数据存入共享内存中对应的存储区域，其中，所述共享内存中的存储区域与深度学习计算服务对应；

第二获取模块，用于在所述深度学习计算服务被请求的情况下，从所述共享内存中与所述深度学习计算服务对应的存储区域中获取所述一路或多路解码数据；

执行模块，用于对所述一路或多路解码数据执行所述深度学习计算服务对应的目标深度学习计算处理。

可选地，所述解码模块，包括：