[发明专利]嵌入式与YOLO4改进算法的无人机实时目标识别系统

权利要求书

1.一种嵌入式与YOLO4改进算法的无人机实时目标识别系统，其特征在于，所述目标识别系统包括无人机客户端、无人机管理服务端和无人机管理前端；

其中，无人机客户端包括目标识别客户端、变化检测客户端和目标跟踪客户端，目标识别客户端设置于无人机1上，变化检测客户端设置于无人机2上，目标跟踪客户端设置于无人机3上，所述目标识别客户端包括影像获取模块、目标识别模块、存储模块和文件传输模块；影像获取模块获取无人机视觉下的位置信息和影像数据，位置信息由GPS模块获取，影像数据通过自动拍照或手动拍照获取，自动拍照是通过预设拍照间隔后、自动拍照完成的，手动拍照是接收到无人机管理服务端的拍照指令后进行拍照；影像获取模块得到的位置信息和影像数据传输至目标识别模块，经目标识别模块进行目标的识别，并将识别的结果存储至存储模块中，文件传输模块定时对存储模块进行扫描，判断识别结果是否被传输过，若未被传输，则对存储模块中的识别结果进行编码，转换成Json数据格式，并传输至Netty文件传输服务模块；在传输空闲时，目标识别客户端定时给无人机管理服务端发送心跳信号，以确认目标识别客户端和无人机管理服务端是否正常连接；

所述变化检测客户端包括影像获取模块、变化检测模块、存储模块和文件传输模块；影像获取模块获取无人机视觉下的位置信息和影像数据，位置信息由GPS模块获取，影像数据通过自动拍照或手动拍照获取，自动拍照是通过预设拍照间隔后、自动拍照完成的，手动拍照是接收到无人机管理服务端的拍照指令后进行拍照；影像获取模块得到的位置信息和影像数据传输至变化检测模块，经变化检测模块进行影像变化的检测，并将检测的结果存储至存储模块中，文件传输模块定时对存储模块进行扫描，判断检测结果是否被传输过，若未被传输，则对存储模块中的检测结果进行编码，转换成Json数据格式，并传输至Netty文件传输服务模块；在传输空闲时，变化检测客户端定时给无人机管理服务端发送心跳信号，以确认变化检测客户端和无人机管理服务端是否正常连接；

所述目标跟踪客户端包括影像获取模块、目标跟踪模块、存储模块和文件传输模块；影像获取模块获取无人机视觉下的位置信息和影像数据，位置信息由GPS模块获取，影像数据通过自动拍照或手动拍照获取，自动拍照是通过预设拍照间隔后、自动拍照完成的，手动拍照是接收到无人机管理服务端的拍照指令后进行拍照；影像获取模块得到的位置信息和影像数据传输至目标跟踪模块，经目标跟踪模块进行目标判断，并将判断的结果存储至存储模块中，文件传输模块定时对存储模块进行扫描，判断判断结果是否被传输过，若未被传输，则对存储模块中的判断结果进行编码，转换成Json数据格式，并传输至Netty文件传输服务模块；在传输空闲时，目标跟踪客户端定时给无人机管理服务端发送心跳信号，以确认目标跟踪客户端和无人机管理服务端是否正常连接；

所述无人机管理服务端包括Netty文件传输服务模块和无人机管理模块，所述无人机管理模块包括无人机管理、信息管理和拍照管理；所述Netty文件传输服务模块通过局域网管理无人机1、无人机2和无人机3，获取每台无人机的数据结果信息后，解码、恢复数据，然后传输至无人机管理模块，无人机管理模块将接收到的结果与位置信息数据进行信息管理，创建“识别结果文件夹”、“检测结果文件”和“判断结果文件夹”，并将相应的结果和位置信息存储至相应的文件夹；所述Netty文件传输服务模块对无人机客户端发送的心跳进行检测，并反馈当前连接状态，同时，心跳检测结果传输至无人机管理，将客户端的在线信息、以及最后一次心跳交互信息存储至无人机管理；在无人机客户端和无人机管理服务端网络中断又恢复后，所述Netty文件传输服务模块实现客户端与服务端的自动连接；在传输文件过程中出现网络中断时，所述Netty文件传输服务模块实现继续传输；无人机管理模块中的拍照管理接收无人机管理前端的“手动拍照”要求后，向Netty文件传输服务模块发送拍照指令，Netty文件传输服务模块将拍照指令转换为Json数据格式，通过心跳传输至影像获取模块，实现手动拍照；

所述无人机管理前端用于实现无人机信息搜索、图片展示和手动拍照控制，无人机管理前端通过IP地址搜索感兴趣的客户端，得到该客户端的在线信息、最后一次心跳交互信息、以及结果和位置信息数据，并将该客户端的结果和位置信息数据进行图片展示；

所述的YOLO4改进算法由以下步骤实现：

(1)获取无人机视觉下的目标对象影像，将获取到的影像用标注工具进行标注，得到标注文件和标注图片；

(2)对获取到的标注文件进行anchor boxes聚类，得到新的执行文件；

(3)根据待训练的目标个数对配置文件进行修改，并采用步骤(2)得到的新的执行文件对步骤(1)的标注文件和标注图片进行模型训练，生成权重文件；

(4)采用TensorRT加速推理器对训练后的模型、步骤(2)得到的新的执行文件以及生成的权重文件进行加速推理，得到推理模型和引擎文件；对训练后的模型进行加速推理，加速推理包括无用层删减、相似层合并过程；

(5)加载推理模型和引擎文件，进行目标识别。