[发明专利]一种基于海思SD3403的多场景监测方法

说明书

本发明公开了一种基于海思SD3403的多场景监测方法。涉及图形通信技术领域，服务器端基于caffe框架，使用yolov3对目标进行训练，并得到prototxt文件和caffemodel文件，根据待预测对象的格式及训练时的预处理操作，编写配置代码，使其转成SD3403平台支持的om模型，此时的om模型已可部署至平台，并进行推理，将不同场景下的om模型转化为二进制文件，转化时，利用Qt模型转化工具对om模型进行参数设置，生成平台所需的二进制文件，将所有的二进制文件传入SD3403平台，本发明基于SD3403平台，SD3403平台体积小，算力强，方便部署，节约空间，caffe框架的自定义程度较高，可以自定义加入算子，使网络更灵活。

技术领域

本发明涉及图形通信技术领域，具体为一种基于海思SD3403的多场景监测方法。

背景技术

海思SD3403平台是针对高清/超高清（1080p/4M/5M/4K）IPC产品应用开发的专业SoC芯片，集成了ARM A55四核处理器和神经网络推理引擎，支持多种智能算法应用，神经网络加速引擎，算力达4Tops INT8，支持完整的API和工具链。依靠其强大的算力和丰富的接口，可在此平台上进行多个检测算法模型的迁移，同时使用该平台下的模型压缩工具，可实现模型的量化，从而加快模型推理速度，实现算法优化。

发明内容

（一）解决的技术问题

针对现有技术的不足，本发明提供了一种基于海思SD3403平台和caffe框架，对在服务器上训练得到的yolov3模型进行转换，从而得到SD3403支持的模型类型，为了提高计算速度，平台可对转换后的模型进行量化，即对模型的权重和数据进行低比特处理，让最终生成的网络模型更加轻量化，从而达到节省网络模型存储空间、降低传输时延、提高计算效率，达到性能提升与优化的目标。为了提升监测场景的多样性，可以利用该平台的多通道分别对不同场景下的视频流进行分析。

通过在该平台部署检测模型的方式，可以扩展视觉检测的应用场景，减少了应用体积，提高了灵活性。

（二）技术方案

为实现上述目的，本发明提供如下技术方案：一种基于海思SD3403的多场景监测方法，基于海思SD3403平台和caffe框架，在模型迁移前，需要先在服务器端训练得到caffe框架的模型和权重文件，根据待测对象的格式和训练时的预处理方式，通过海思平台的模型转换工具对服务器上的模型进行转换，若要加快模型在平台的推理速度，则需要使用模型压缩工具对转换后的模型进行压缩，针对不同场景，可以转换多个模型并上传至海思SD3403平台，为了方便管理以及生成不同的模型，根据程序预留的接口用Qt制作模型封装工具，以方便设置模型参数（如模型尺寸，模型描述等），以生成满足要求的模型。

优选的，单个模型推理时，服务器端基于caffe框架，使用yolov3对目标进行训练，并得到prototxt文件和caffemodel文件，根据待预测对象的格式（yuv420SP或RGB等）及训练时的预处理操作，编写配置代码；若需加快推理速度，则还需将prototxt文件和caffemodel文件量化，并将量化后的文件使用同样的方法转为om模型，再部署至平台，即可进行加速推理。

优选的，所述单个模型推理包括以下步骤：

S1、配置训练和测试时的各种参数，包括训练的策略、学习率的变化率以及模型保存的频率参数；

S2、将非Caffe框架下的训练模型拼接并生成Caffe模型下的Prototxt文本格式的参数数据文件；

S3、prototxt，描述测试网络层的网络结构文件，将文件转化为om文件，保存压缩后的prototxt训练模型的数据文件；

S4、描述caffemodel训练网络层的网络结构文件，将caffemodel文件转化为om文件，保存压缩后的caffemodel训练模型的数据文件；