[发明专利]一种跨平台数据分析方法

说明书

本发明涉及一种跨平台数据分析方法，通过加速器结构层增设用户推理接口，解决了边缘硬件架构多、模型加速部署成本高问题；相比传统方法模型边缘部署过程中的格式转换过程，明显提高了开发效率；有效降低了边缘设备后期AI推理代码维护成本。

技术领域

本发明涉及图像处理技术领域，具体是指一种跨平台数据分析方法。

背景技术

不同的平台在进行图像处理的时候，需要进行不同平台系统的搭建，这就导致了边缘硬件架构多和模型加速部署成本高的问题。而本申请提供跨平台数据分析方法，相比传统方法模型边缘部署过程中的格式转换过程，明显提高了开发效率。最后，有效降低了边缘设备后期AI推理代码维护成本。

发明内容

本发明提供一种跨平台数据分析方法，解决了边缘硬件架构多、模型加速部署成本高问题。

为解决上述技术问题，本发明提供的技术方案为：

一种跨平台数据分析方法，所述跨平台数据分析方法基于AI图像推理加速器系统完成，所述AI图像推理加速器系统包括上层调用层、加速器结构层、加速库构架层和硬件加速结构层；所述跨平台数据分析方法包括以下具体步骤：

1)首先AI图像推理加速器系统通过上层调用层获取数据进行深度学习，判断数据是否为图像，如果是图像学习任务则进行下一步，如果否，则结束；

2)得到图像学习任务后，进行任务拆解，针对不同学习类型送入不同深度学习模型进行匹配推理；同时进行图像解码和通信机制解码，获取图像输入数据解码通信类型、图像解码格式和图像解码方式；

3)任务拆解后，进入通用推理精度适配阶段，设置通过32位单精或16位半精完成推理，而图像解码后会进行推理聚合，将用户输入的推理任务进行推理作业智能聚合；

4)框架适配后对于不同硬件平台，通过资源调度完成GPU显存资源初始化/释放管理；而推理聚合的图像在推理模型加载后，需要将图像解码到内存单元，然后内存数据负责将数据交换到GPU现存中，完成各个加速框架的数据交换通用抽象；

5)资源分配调度及数据交换后完成GPU推理。图像推理加速器图像推理加速器图像推理加速器

作为改进，所述学习类型包括图像目标检测、图像分割，目标跟踪。作为改进，所述解码通信类型包括RTSP协议和RTMP协议，所述图像解码格式包括JPEG和PNG格式，所述图像解码方式包括H264和H265。作为改进，所述步骤5)中，GPU推理任务进行时，还包括实时搜集推理框架推理日志，对于后续追溯任务报错时提供记录能力。作为改进，所述步骤5)中，GPU推理任务进行时，还包括提供监控GPU资源状态，包括GPU使用显存占用、GPU核心使用率、内存占用率。

作为改进，所述加速器构架层内包括如下加速库：TensorRT、OpenVino和Neon。

作为改进，所述硬件加速结构层内包括N卡、X86和ARM。

采用以上结构后，本发明具有如下优点：

本发明首先解决了边缘硬件架构多、模型加速部署成本高问题。其次，相比传统方法模型边缘部署过程中的格式转换过程，明显提高了开发效率。最后，有效降低了边缘设备后期AI推理代码维护成本。

附图说明

图1是本发明的AI图像推理加速器系统框架图；

图2是本发明的跨平台数据分析方法流程图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。